Hunyuan-GameCraft-1.0

Les récents progrès dans la génération de vidéos basées sur la diffusion et contrôlables ont permis la synthèse de vidéos de haute qualité et temporellement cohérentes, posant les bases d'expériences de jeu interactives immersives. Cependant, les méthodes actuelles rencontrent des limitations en termes de dynamique, de cohérence à long terme physiquement réaliste et d'efficacité, ce qui limite la capacité à créer divers vidéos de gameplay. Pour remédier à ces lacunes, nous introduisons Hunyuan-GameCraft, un cadre novateur pour la génération de vidéos interactives à haute dynamique dans des environnements de jeu. Pour atteindre un contrôle d'action précis, nous unifions les entrées standard de clavier et de souris dans un espace de représentation de caméra partagé, facilitant l'interpolation fluide entre diverses opérations de caméra et de mouvement. Ensuite, nous proposons une stratégie de formation conditionnée par l'histoire hybride qui prolonge les séquences vidéo de manière autorégressive tout en préservant les informations de la scène de jeu. De plus, pour améliorer l'efficacité de l'inférence et la jouabilité, nous réalisons une distillation de modèle pour réduire la surcharge computationnelle tout en maintenant la cohérence à travers de longues séquences temporelles, ce qui le rend adapté au déploiement en temps réel dans des environnements interactifs complexes.