Hunyuan-GameCraft-1.0

I recenti progressi nella generazione di video basata sulla diffusione e controllabile hanno reso possibile la sintesi di video di alta qualità e temporalmente coerenti, ponendo le basi per esperienze di gioco interattive immersive. Tuttavia, i metodi attuali presentano limitazioni in termini di dinamica, coerenza a lungo termine fisicamente realistica ed efficienza, che limitano la capacità di creare vari video di gameplay. Per affrontare queste lacune, introduciamo Hunyuan-GameCraft, un nuovo framework per la generazione di video interattivi ad alta dinamica in ambienti di gioco. Per ottenere un controllo dell'azione dettagliato, unifichiamo gli input standard di tastiera e mouse in uno spazio di rappresentazione della telecamera condiviso, facilitando l'interpolazione fluida tra varie operazioni di telecamera e movimento. Successivamente, proponiamo una strategia di addestramento condizionata dalla storia ibrida che estende le sequenze video in modo autoregressivo preservando le informazioni sulla scena di gioco. Inoltre, per migliorare l'efficienza dell'inferenza e la giocabilità, realizziamo una distillazione del modello per ridurre il carico computazionale mantenendo la coerenza su lunghe sequenze temporali, rendendolo adatto per il deployment in tempo reale in ambienti interattivi complessi.