Radial Attention

[NeurIPS 2025] Radial Attention: O(nlogn) Sparse Attention with Energy Decay for Long Video Generation

KI-VideoerstellungOpen Source KI & Maschinelles LernenOpen Source

Über

Radial Attention ist ein skalierbarer sparsamer Aufmerksamkeitsmechanismus, der Videodiffusionsmodelle verbessert, indem er eine rechnerische Komplexität von O(n log n) erreicht. Er nutzt physik-inspirierte Sparsamkeit, um räumlich lokale und zeitlich abnehmende Aufmerksamkeit durchzusetzen, was die Energieabgabe in physikalischen Systemen widerspiegelt. Dieser Ansatz ermöglicht die effiziente Generierung längerer Videos bei gleichzeitiger Beibehaltung hoher Qualität, was ihn für Anwendungen in der Videoerzeugung und -verarbeitung geeignet macht.

Open Source Health

Not enough history
Stars
607
Forks
34
License
Apache-2.0
Last commit
11 months ago
Python

Verwandte Kategorien

Nutzt du Radial Attention?

Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.

Zu meinem Stack hinzufügen

Anbieter

MIT HAN Lab

Efficient AI Computing. PI: Song Han

Vendor-Profil anzeigen

Mehr von MIT HAN Lab