Radial Attention

Radial Attention est un mécanisme d'attention éparse évolutif qui améliore les modèles de diffusion vidéo en atteignant une complexité computationnelle de O(n log n). Il utilise une sparsité inspirée de la physique pour imposer une attention localement spatiale et temporellement décroissante, ce qui reflète la dissipation d'énergie dans les systèmes physiques. Cette approche permet la génération efficace de vidéos plus longues tout en maintenant une haute qualité, ce qui la rend adaptée aux applications de génération et de traitement vidéo.