Tree-Ising repariert Reasoning-Schleifen per Ising-Optimierung statt per LLM-Agent
Zwei Forscher ersetzen den GPT-6-Astra-Agenten durch ein diskretes Optimierungsproblem über BF16-Gewichte. Alle Zahlen sind Selbstauskunft der Autoren.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Tree-Ising repariert das Modell als spärliches diskretes Optimierungsproblem über BF16-Gewichte.
- Zulässige Edits sind Vorzeichenwechsel und Exponentenverschiebungen; gemeinsame Gruppen-Exponenten und Mantissen bleiben unverändert.
- Das Ziel zerfällt exakt in unabhängige QUBO/Ising-Probleme, eines pro Ausgabezeile.
- Die Simulated-Bifurcation-Variante erreicht 55,1 % auf MATH-500@4; GSM8K@1 steigt von 13,8 % auf 70,8 %.
- Laut Autoren kostet die Reparatur 0,90 US-Dollar in 31 Minuten, der Agent 312 US-Dollar in 15,6 Stunden.
Schleifen-Reparatur als Ising-Problem statt per Agent
Hadi Salloum (QDeep, Riad) und Ammar Ali (ITMO University, LEAD Lab) haben am 11. November 2026 auf Hugging Face Tree-Ising vorgestellt. Das Verfahren soll die Reasoning-Schleifen von Qwen3.5-0.8B beheben. Gemeint sind kurze Textzyklen, in die das Modell im Thinking-Modus gerät, bis das Token-Budget erschöpft ist. Laut einer MIT-Arbeit betrifft das 93 Prozent der MATH-500-Aufgaben bei einem Limit von 32.768 Token. Die Genauigkeit sinkt dadurch auf 7,9 Prozent.
In der MIT-Arbeit zu „Weight-Space Programming“ las ein Frontier-LLM-Agent (GPT-6 Astra) die Gewichte und schrieb eine Reparatur. Der Agent führte die Schleifen auf die MLPs der Layer 15 und 19 zurück und überschrieb je 64 Spalten der Ausgabeprojektionen.
Tree-Ising ersetzt den Agenten durch ein sparsames diskretes Optimierungsproblem über die BF16-Gewichte. Forward-Statistiken definieren das Ziel: Eine Schleifenrichtung soll abgeschwächt, eine abschließende Richtung verstärkt werden. Die Layer-Ausgabe auf produktiven Tokens bleibt erhalten. Zulässig sind nur Vorzeichenwechsel und Exponentenverschiebungen. Gemeinsame Gruppen-Exponenten und Mantissen bleiben unverändert.
Das Ziel zerlegen die Autoren exakt in unabhängige QUBO-Probleme, eines pro Ausgabezeile. Eine GPU löst diese per Simulated Annealing oder per quanteninspiriertem Simulated Bifurcation. Die Idee, Gewichte gezielt zu reparieren, stammt aus der MIT-Arbeit. Neu sind die Formulierung und die Solver.
54,6 bis 55,1 Prozent auf MATH-500 bei 0,90 Dollar Aufwand
Alle folgenden Zahlen stammen von den Autoren. Auf MATH-500 erreicht die Simulated-Annealing-Variante nach deren Angaben 54,6 Prozent, die Simulated-Bifurcation-Variante 55,1 Prozent (MATH-500@4). Die Agenten-Reparatur kommt im selben Evaluationsprotokoll auf 51,7 Prozent. Das Basismodell liegt bei 7,9 Prozent. Auf GSM8K@1 steigt Qwen3.5-0.8B laut den Autoren von 13,8 auf 70,8 Prozent.
Für Tree-Ising nennen die Autoren 4 Forward-Passes, 31 Minuten, 0,90 US-Dollar und keine LLM-Tokens. Der Agent brauchte demnach 158 Turns, 89,7 Millionen Tokens, 15,6 Stunden und 312 US-Dollar. Daraus ergeben sich etwa 350-fach geringere Kosten und eine 30-fach kürzere Laufzeit.
Das Rezept sei außerdem ohne Referenz-Edit auf Qwen3.5-2B übertragen worden. Dabei steige GSM8K von 21,6 auf 69,4 Prozent. Belegt ist das nur durch die Sekundärquelle aiweekly.
Unabhängig bestätigt ist nichts, und die Vergleichszahlen weichen ab
Sämtliche Zahlen sind Selbstauskunft der Autoren. Das gilt auch für den Vorsprung von +2,9±1,0 Punkten bei p≈0,003. Ebenso für die Aussage, Tree-Ising komme mit weniger Gewichts-Edits aus. Der veröffentlichte Abstract-Ausschnitt nennt dafür keine Zahl.
Die Vergleichswerte weichen außerdem voneinander ab. Die MIT-Darstellung beziffert die Genauigkeit der Agenten-Reparatur auf 48,1 Prozent. Die Tree-Ising-Autoren kommen in ihrer Neubewertung auf 51,7 Prozent. Vermutlich liegt ein anderes Protokoll zugrunde, doch das Material klärt es nicht. Auch die Sekundärberichte sind uneinheitlich. emergent.sh verknüpft die 55,1 Prozent mit +2,9 Punkten. Rechnerisch liegt der Abstand zwischen 55,1 und 51,7 Prozent jedoch über 2,9 Punkten. Die 2,9 passen zu 54,6 gegenüber 51,7 Prozent.
Eine unabhängige Teilprüfung der MIT-Arbeit rekonstruierte die drei freigegebenen Edits. Deren Tensor-Hashes stimmten überein. Die Fähigkeiten von Astra ließen sich mangels Zugang nicht prüfen. Tree-Ising ist davon nicht betroffen. Als möglicher Interessenbezug bleibt festzuhalten: QDeep bietet Ising/QUBO-Solver an, und einer der Autoren arbeitet dort.



