Video-As-Prompt

Nous introduisons Video-As-Prompt (VAP), un nouveau paradigme qui reformule la génération vidéo contrôlée sémantiquement de manière unifiée et généralisable comme une génération en contexte. VAP utilise une vidéo de référence comme un prompt sémantique direct, guidant un Video Diffusion Transformer (DiT) gelé via un expert Mixture-of-Transformers (MoT) plug-and-play. Cette architecture empêche l'oubli catastrophique et est guidée par un embedding de position temporellement biaisé qui élimine les priors de mappage spuriés pour une récupération de contexte robuste. En tant que modèle unifié unique, VAP établit un nouvel état de l'art pour les méthodes open-source, atteignant un taux de préférence utilisateur de 38,7 % qui rivalise avec les modèles commerciaux spécifiques aux conditions. La forte généralisation en zéro coup de VAP et son support pour diverses applications en aval marquent une avancée significative vers une génération de vidéo contrôlable et à usage général.