KI SpotlightNewsDeclarative Attention: Sprachmodelle deklarieren ihre Aufmerksamkeit selbst
Ein neues Protokoll lässt Modelle im Chain-of-Thought angeben, welche Kontextregionen relevant sind – und spart so den Großteil der KV-Cache-Lesungen.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Declarative Attention (DA) ist ein Protokoll, das das Modell veranlasst, innerhalb seines Chain-of-Thought zu deklarieren, wo es attendieren muss, und die Generierung in drei Modi unterteilt: voller Kontext, eine spezifische Region, nur kürzliche Ausgabe.
- Die Inference-Engine parst diese Deklarationen wie Tool-Calls und überspringt den größten Teil der KV-Cache-Lesungen.
- Unter Zero-Shot-Evaluation über 15 Long-Context-Aufgaben reduziert DA auf den Off-the-Shelf-Modellen Gemma-4-31B und Qwen-3.6-27B die insgesamt attendierten Tokens während der Dekodierung um 52,0 % bzw. 31,1 %.
- Die Accuracy-Verluste betragen 1,27 Prozentpunkte (Gemma-4-31B) bzw. 2,75 Prozentpunkte (Qwen-3.6-27B) und schrumpfen mit zunehmender Modellgröße.
- DA eröffnet eine neue Achse für sparse Attention.
Declarative Attention: Modell deklariert Attention-Regionen
Declarative Attention (DA) ist ein Protokoll, das Sprachmodelle dazu veranlasst, innerhalb ihres Chain-of-Thought selbst zu deklarieren, auf welche Kontextregionen sie achten müssen. Die Generierung wird dabei in drei Modi unterteilt: voller Kontext, eine spezifische Region oder nur die kürzliche Ausgabe. Die Inference-Engine parst diese Deklarationen wie Tool-Calls und überspringt daraufhin den größten Teil der KV-Cache-Lesungen. Nach Angaben der Autoren der Arbeit "Language Models Can Control Their Own Attention" verbringen Sprachmodelle die meiste Aufmerksamkeit auf einen kleinen Teil des Kontexts, lesen aber den gesamten KV-Cache, um die wenigen relevanten Token zu finden. DA setzt hier an: Statt über extrinsische Proxy-Scores relevante Token vorab auszuwählen, nutzt das Verfahren die intrinsische Fähigkeit des Modells, selbst zu wissen, welche Teile des Kontexts relevant sind. Das Modell deklariert dies im Chain-of-Thought, und die Engine überspringt die meisten KV-Cache-Lesungen. Damit entfällt der bei extrinsischen Scoring-Verfahren anfallende Aufwand von O(N) pro Schritt.
Ergebnisse: Weniger attended Tokens bei moderaten Accuracy-Verlusten
Unter Zero-Shot-Evaluation über 15 Long-Context-Aufgaben reduziert DA auf den Off-the-Shelf-Modellen Gemma-4-31B und Qwen-3.6-27B die insgesamt attendierten Tokens während der Dekodierung um 52,0 Prozent bzw. 31,1 Prozent. Die Accuracy-Verluste betragen 1,27 Prozentpunkte für Gemma-4-31B und 2,75 Prozentpunkte für Qwen-3.6-27B. Nach Angaben der Autoren schrumpfen diese Verluste mit zunehmender Modellgröße. Das bedeutet, dass größere Modelle tendenziell besser mit der deklarativen Aufmerksamkeitssteuerung zurechtkommen und die Einbußen geringer ausfallen. Die Reduktion der attended Tokens ist erheblich: Bei Gemma-4-31B wird mehr als die Hälfte der Token-Lesungen eingespart, bei Qwen-3.6-27B knapp ein Drittel. Die Ergebnisse stammen aus einer Zero-Shot-Evaluation, das heißt, die Modelle wurden nicht speziell für diese Aufgabe trainiert, sondern direkt mit dem DA-Protokoll verwendet. Die Einsparungen fallen während der Dekodierung an, also beim Generieren der Antwort, nicht beim Prefill.
Neue Achse für sparse Attention
Declarative Attention eröffnet nach Angaben der Autoren eine neue Achse für sparse Attention. Das Verfahren ergänzt bestehende Ansätze zur Reduktion der Aufmerksamkeitskosten um eine deklarative, intrinsische Komponente.
