Live Late Entry: Looped Language Models sollen neue Tokens erst spät in den Rekurrenz-Stack schicken
↘

Late Entry: Looped Language Models sollen neue Tokens erst spät in den Rekurrenz-Stack schicken

Ein neues Paper dreht den Early Exit um. Die Autoren melden auf Ouro-2.6B bis zu 5,2-fache Beschleunigung (greedy-exakt) und auf Huginn-3.5B bis zu 12,5-fache (verlustbehaftet). Die Werte stammen von den Autoren selbst.

· Veröffentlicht: 22.11.2026 ·2 Min Lesezeit
Late Entry: Looped Language Models sollen neue Tokens erst spät in den Rekurrenz-Stack schickenMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • Looped LMs iterieren einen gemeinsamen Layer-Stack T-mal pro Token; Rekurrenztiefe wird so zu serieller Dekodierlatenz.
  • Late Entry lässt neue Tokens direkt in die letzten K von T Durchläufen eintreten.
  • Wake-Verifikation wird über eine Logit-Margin-Toleranz tau in [0, inf] gesteuert.
  • Auf Ouro-2.6B (T=4) erreicht Wake mit K=2 bei tau=0 eine 5,2-fache greedy-exakte Beschleunigung.
  • Auf Huginn-3.5B beträgt der greedy-exakte Speedup bei T=64 8,4x.

Late Entry: Neue Tokens steigen erst in den letzten K von T Durchläufen ein

Looped Language Models durchlaufen pro Token einen gemeinsamen Layer-Stack T-mal. Die Rekurrenztiefe wird dadurch direkt zur seriellen Dekodierlatenz. Das Paper „Late Entry in Looped Language Models“ setzt hier an und dreht den üblichen Early Exit um.

Beim Early Exit brechen Tokens nach den ersten Durchläufen ab, ohne den Cache zu vervollständigen. Laut Paper kappt das die gecachten KV-Zustände früherer Tokens auf flache Tiefe. Late Entry geht den umgekehrten Weg. Neue Tokens überspringen die frühen Durchläufe und steigen direkt in die letzten K von T ein. Die KV-Caches bleiben tief. Nachfolgende Schritte kommen ohne zusätzliche serielle Aufrufe aus.

Wake verification: Ein Toleranzwert tau steuert zwischen exakt und verlustbehaftet

Die Autoren projizieren die fertigen T-Pass-Zustände im bestehenden Output-GEMM („Wake verification“). Eine Logit-Margin-Toleranz tau, die von 0 bis unendlich reicht, bestimmt den Modus. Bei tau=0 ist die Dekodierung greedy-exakt. Sie entspricht der K=T-Blockdekodierung bis auf die Reihenfolge der bf16-Reduktionen. Bei tau>0 verifiziert das Verfahren margin-gesteuert. Bei tau=inf läuft es verlustbehaftet und ohne Rollback. Alle drei Varianten laufen in einem einzigen statischen CUDA-Graphen.

Laut arXiv-Fassung korrigiert eine leichte Feinabstimmung außerdem eine Abweichung der Hidden-State-Norm an der Eintrittsgrenze. Kandidatenblöcke werden nur über die letzten Durchläufe auf dem kritischen Pfad verifiziert. Bereits festgeschriebene Tokens holen ihre Durchläufe parallel nach.

Messwerte der Autoren: 5,2x auf Ouro-2.6B, bis zu 12,5x auf Huginn-3.5B

Alle Zahlen stammen von den Autoren. Eine unabhängige Reproduktion der Late-Entry-Werte ist bislang nicht bekannt.

Auf Ouro-2.6B (T=4) erreicht K=2 mit Wake bei tau=0 laut Autoren eine 5,2-fache greedy-exakte Beschleunigung. Das liegt 26 Prozent über der K=4-Blockdekodierung auf GSM8K. Ouro ist eine quelloffene Familie von Looped LMs mit 1,4B und 2,6B Parametern, trainiert auf 7,7T Tokens. Bei tau=inf nennen die Autoren 6,8x. Das sind 16,9 Punkte Vorsprung gegenüber trainiertem Early Exit bei gleicher Geschwindigkeit.

Auf Huginn-3.5B sinken bei T in {8, 16, 32, 64} die Rollbacks bei K=T/4 mit wachsender Tiefe um das 21,5-Fache. Greedy-exakt messen die Autoren 6,1x bei T=32 und 8,4x bei T=64. Letzterer Wert liegt 153 Prozent über dem K=64-Block. Bei tau=inf liegen die Werte zwischen 10,6x und 12,5x.

Andere Arbeiten kappen, teilen oder komprimieren den KV-Cache

Ouros Early-Exit-Fähigkeit spart laut einer anderen Arbeit in der Praxis keine Rechenzeit, weil jede Loop-Iteration einen eigenen KV-Cache braucht. Verwandte Ansätze setzen anders an. LoopKV komprimiert pro Loop und Layer. Bei Shared Memory schreibt nur die erste Rekursion Cache. Elastic Latent Recurrence behält ausschließlich den Cache des letzten Loops.

Eine „best-available“-KV-Strategie soll laut ihren Autoren bis zu 30 Prozent FLOPs und KV-Speicher sparen. Beanspruchen einzelne dieser Arbeiten eine neue Bestleistung, ist das Selbsteinschätzung der jeweiligen Autoren. Einen Befund zu Late Entry stellt es nicht dar.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel