Live RoughCut-Bench: Neuer Benchmark prüft automatisches Rohschneiden von Videos
↘

LoopFill soll Looped-LLMs auf bis zu 5,85-fache Geschwindigkeit bringen

Der trainingsfreie Speculative-Decoding-Ansatz verbindet Suffix-Drafts mit Shallow-Loop-Vorhersagen in einem Baum. Die Messwerte stammen von den Autoren. Unabhängig reproduziert sind sie nicht.

· Veröffentlicht: 20.11.2026 ·2 Min Lesezeit
LoopFill soll Looped-LLMs auf bis zu 5,85-fache Geschwindigkeit bringenMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • LoopFill ist ein trainingsfreier Speculative-Decoding-Algorithmus für Looped LLMs, kombiniert Suffix-Drafts mit Shallow-Loop-Vorhersagen.
  • Autoren berichten 5,85× Speedup auf Ouro-2.6B und 5,13× auf Huginn-3.5B gegenüber greedy Decoding.
  • Die Werte sind eigene Messungen der Autoren und unabhängig nicht reproduziert.
  • Gegenüber LoopAhead liegt der Speedup laut Abstract 40 % (Ouro-2.6B) und 25 % (Huginn-3.5B) höher.
  • Ouro ist eine quelloffene Familie vorab trainierter Looped Language Models (1.4B und 2.6B), trainiert auf 7,7T Tokens.

LoopFill soll Looped-LLMs auf bis zu 5,85-fache Geschwindigkeit bringen

LoopFill ist ein trainingsfreier Speculative-Decoding-Algorithmus für Looped Language Models. Über sieben Benchmarks melden die Autoren einen durchschnittlichen Speedup von 5,85× auf Ouro-2.6B und 5,13× auf Huginn-3.5B. Bezugspunkt ist greedy autoregressives Decoding.

Die Zahlen stammen von den Autoren. Unabhängig reproduziert sind sie bislang nicht, belegt sind sie nur im Abstract der Veröffentlichung. Wie die Messungen im Einzelnen aufgebaut waren, lässt sich aus dem vorliegenden Material nicht prüfen.

Warum jedes Token bei Looped Transformers mehrere Durchläufe kostet

Looped Transformers wenden dieselben Schichten wiederholt an. So braucht ein Modell nicht für jede Rechentiefe eigene Gewichte, was die Parametereffizienz verbessert. Beim autoregressiven Decoding hat das einen Preis: Jedes Token durchläuft diese Schichten mehrfach hintereinander. Die Latenz steigt entsprechend.

Ein quelloffenes Beispiel ist Ouro, eine Familie vorab trainierter Looped Language Models mit 1,4 und 2,6 Milliarden Parametern. Trainiert wurden sie auf 7,7 Billionen Tokens. Nach Angaben der Ouro-Autoren erreichen die Modelle über viele Benchmarks die Ergebnisse aktueller LLMs bis 12 Milliarden Parametern.

Ein Draft-Baum aus Suffix-Lookup und Shallow-Loop-Vorhersage

LoopFill führt zwei Drafter in einem Baum zusammen: Multi-Token-Suffix-Drafts und Shallow-Loop-Vorhersagen. Ein gemeinsamer Block berechnet die bestbewerteten Kandidaten verschiedener Loop-Tiefen in einem Batch. Die anschließende Verifikation in voller Tiefe soll die autoregressive Ausgabeverteilung des Modells erhalten. Das geben die Autoren an. Belegt ist es ebenfalls nur im Abstract.

Den Unterschied zu pipelined Self-Speculative-Methoden wie LoopAhead beschreiben die Autoren so: Dort darf ein Token erst in die Pipeline, wenn das vorige die Draft-Tiefe erreicht hat. LoopFill lässt dagegen einen Suffix-Lookup eine Shallow-Vorhersage sofort verlängern. So gehen mehrere künftige Token gleichzeitig in die Pipeline.

Gegenüber LoopAhead, das die Autoren selbst als stärkste Baseline bezeichnen, geben sie einen um 40 Prozent (Ouro-2.6B) und 25 Prozent (Huginn-3.5B) höheren Speedup an. Diese Einordnung stammt von den Autoren und hängt von der Auswahl der Vergleichsverfahren ab.

Was offen bleibt: WaveFront Decoding und fehlende Reproduktion

Mit WaveFront Decoding (WFD) gibt es einen weiteren trainingsfreien Ansatz für dieselben Modelle, Ouro-2.6B und Huginn-3.5B. WFD wurde über sechs Spec-Bench-Kategorien getestet. Der Code liegt auf GitHub. Wie sich LoopFill zu WFD verhält, geht aus dem vorliegenden Material nicht hervor.

Für Anwender ergibt sich praktischer Handlungsbedarf erst, wenn Code und unabhängige Reproduktionen vorliegen. Bis dahin sind die berichteten Speedups Laborwerte der Autoren.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel