vAttention

vAttention ist ein Speichermanager für KV-Cache in LLM-Bereitstellungssystemen. Es entkoppelt die Zuweisung von virtuellem Speicher und physischem Speicher mithilfe der CUDA-APIs für virtuellen Speicher. Dieser Ansatz ermöglicht die bedarfsgerechte Zuweisung von physischem Speicher, während die Kontinuität des KV-Caches im virtuellen Speicher erhalten bleibt. Auf diese Weise bietet vAttention Unterstützung für die dynamische Speicherzuweisung an unveränderte Attention-Kerne. Diese Art des Speichermanagements unterscheidet sich vom beliebten PagedAttention-Ansatz; PagedAttention implementiert Demand Paging im Benutzerspeicher und erfordert das Umschreiben benutzerdefinierter Kerne zur Unterstützung der dynamischen Speicherzuweisung. vAttention verbessert auch die Leistung gegenüber PagedAttention in vielen Fällen, insbesondere bei vorab gebundenen Arbeitslasten. Bitte schau dir unser Papier für weitere Details an.