DeLoop soll Endlosschleifen bei Tool-Calls von Sprachmodell-Agenten per Selbstüberwachung abtrainieren

DeLoop senkt Schleifenrate von Qwen3-8B unter Kompression von 57,3 auf 6,1 Prozent

Ein Team um Tianle Chen, Pushkar Singh und Arjun Akula stellt DeLoop vor, eine selbstüberwachte Trainingsmethode gegen wiederholte, identische Tool-Calls bei Sprachmodell-Agenten. Singh und Akula sind im Paper als Projektleitung ausgewiesen. Die elf Autorinnen und Autoren arbeiten bei Google, der Boston University, der University of Washington, der University of Southern California und Google DeepMind.

Als Schleife gilt im Paper das erneute Absetzen eines früheren Tool-Calls, der exakt dieselbe Beobachtung liefert und deshalb keine neue Information bringt. Solche Schleifen treten laut den Autoren nativ bei Qwen-, Llama- und Gemini-Agenten auf. Sie häufen sich deutlich, wenn die Historie komprimiert wird, damit sie ins Kontextfenster passt.

Das zentrale Ergebnis stammt aus dem Benchmark CodeGym. Unter Kompression sinkt dort der Anteil der Qwen3-8B-Aufgaben mit Schleifen von 57,3 auf 6,1 Prozent. Das entspricht etwa einem Neuntel (9,4-fach weniger). Die Schritte pro Aufgabe fallen von 15,00 auf 4,67, also auf etwa ein Drittel, bei ähnlicher Erfolgsrate. Beim größeren Qwen3-32B sinken Schleifen und Schritte, die Aufgabenerfolgsrate steigt von 37,7 auf 44,8 Prozent. Sämtliche Zahlen stammen von den Autoren. Eine unabhängige Überprüfung liegt nicht vor, ebenso wenig eine Einordnung gegenüber dem Stand der Forschung.

Wiederholte Aktion als Negativbeispiel, erste Nicht-Wiederholung als Positivbeispiel

Der Mechanismus verwendet den Rollout des Agenten selbst als Trainingsmaterial. Innerhalb eines Durchlaufs gilt die schleifende Aktion als negatives Beispiel. Positiv ist die erste spätere Aktion im selben Rollout, die keine Wiederholung darstellt. Aus diesen selbst gewonnenen Paaren lernt das Modell mittels Direct Preference Optimization, die nicht wiederholende Aktion der wiederholenden vorzuziehen.

Task-Rewards, Musterantworten oder LLM-Judges braucht das Verfahren nach Angaben der Autoren nicht. Das Signal entsteht allein daraus, dass der Agent sich wiederholt und später doch ausbricht.

Ob der Ansatz gegenüber Loop-Detection, Wiederholungsstrafen oder Prompt-Guards tatsächlich neu ist, lässt das vorliegende Material offen. Eine Abgrenzung zu diesen Verfahren fehlt.

Schleifen treten auch mit voller Historie auf, Kompression verstärkt sie

Die Autoren belegen das Problem mit eigenen Messwerten. Bei Qwen3-8B liegt die Schleifenrate auf CodeGym mit voller Historie bei 29,0 Prozent. Wird die Historie auf 4.096 Token zusammengefasst, steigt sie auf 57,3 Prozent. Kompression wirkt demnach als Verstärker, ist aber nicht die alleinige Ursache.

Schleifen kosten offenbar Erfolg. Im Mittel über sechs Qwen3- und Gemini-Modelle scheitern 59,5 Prozent der Läufe mit Schleifen, bei Läufen ohne Schleifen sind es 33,4 Prozent. Selbst Zusammenfassungen, die eine explizite Spur oder ein Protokoll vergangener Aktionen enthalten, führen in 52,0 bis 62,7 Prozent der Läufe zu Schleifen. Der Agent übergeht demnach oft einen Eintrag, der ihm vorliegt.

Eine Sekundärquelle (aiweekly.co) gibt die Ergebnisse teils verkürzt wieder. Sie nennt nur ein Drittel weniger Schritte, das Paper spricht dagegen von rund einem Drittel der Schritte (15,00 auf 4,67). Außerdem schreibt die Quelle, Kompression verursache die Schleifen. Die Paper-Zahlen mit 29,0 Prozent bei voller Historie stützen diese Lesart nicht.

Code und Daten sind angekündigt, Nutzen vorerst für Teams mit Trainingszugriff

Laut Paper sollen Code und Daten öffentlich werden („will be publicly available“). Im vorliegenden Material findet sich bislang kein Beleg für eine Freigabe von Code, Gewichten oder Daten. Auch eine Lizenzangabe fehlt.

Den größten Nutzen dürften Entwickler und Betreiber von Langzeit-Agenten haben, etwa Coding-Agenten mit komprimiertem Kontext, die offene Modelle wie Qwen3 selbst nachtrainieren. Reine API-Nutzer ohne Trainingszugriff spüren DeLoop vorerst nicht, da die Methode am Modell selbst ansetzt.