KI SpotlightNewsThinkingBox-Training: Microsoft und Hugging Face belohnen Agenten per Datenbank-Endzustand
Laut Blog-Angaben steigt die Erfolgsquote von Qwen3.8-27B nach 50 GRPO-Schritten von 51,70 auf 60,78 Prozent. Eine unabhängige Replikation fehlt bislang.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Die durchschnittliche Erfolgsquote von Qwen3.8-27B steigt von 51,70 % auf 60,78 %.
- Aufgaben, die in allen zwanzig Versuchen gelöst werden, steigen von 38 auf 107, nach 50 GRPO-Schritten.
- Die Belohnung wird auf Trainingsaufgaben außerhalb von ThinkingBox-Bench eingesetzt.
- ThinkingBox-Bench umfasst 507 Aufgaben mit echtem Backend und Tools.
- Für die meisten Aufgaben liefert ein ausführbarer Check 1 oder 0 aus dem Datenbankzustand.
Qwen3.8-27B löst nach 50 GRPO-Schritten 107 statt 38 Aufgaben durchgehend
Microsoft und Hugging Face haben in einem gemeinsamen Follow-up-Blog ThinkingBox-Training vorgestellt. Laut Ankündigung ist es auf GitHub verfügbar. Der Ansatz nutzt den Endzustand einer Datenbank nach einer Agentenaufgabe als ausführbare 0/1-Belohnung für das Reinforcement-Learning-Nachtraining.
Für Qwen3.8-27B nennen die Autoren folgende Zahlen. Die durchschnittliche Erfolgsquote stieg von 51,70 auf 60,78 Prozent. Die Zahl der Aufgaben, die bei allen 20 Versuchen korrekt gelöst wurden, wuchs von 38 auf 107. 50 GRPO-Schritte reichten dafür aus. Trainiert wurde auf Aufgaben außerhalb von ThinkingBox-Bench; der Benchmark selbst diente nicht als Trainingsmaterial.
Der Ausgangswert stimmt mit dem pass@1 von 51,7 Prozent überein, den whatmodel.sh für das Modell auf ThinkingBox-Bench ausweist. Die Verbesserung ist dagegen eine Herstellerangabe. Eine unabhängige Replikation liegt bislang nicht vor.
Ein Check am Datenbankzustand statt Bewertung von Tool-Calls oder Antworttext
Das Prinzip stammt aus der Evaluation. ThinkingBox-Bench umfasst 507 Aufgaben. Ein Agent arbeitet dort mit einem echten Backend und Tools. Danach prüft das System, was sich in der Datenbank tatsächlich geändert hat. Für die meisten Aufgaben lässt sich daraus ein ausführbarer Check ableiten, der eine 1 oder 0 liefert. Dieses Signal setzen die Autoren nun als Belohnung ein.
Laut Beschreibung im ThinkingBox-Paper akzeptieren die Checks gültige Trajektorien. Falsche, fehlende oder zusätzliche Effekte weisen sie zurück. Maßgeblich ist also das Ergebnis, nicht der Weg dorthin.
Damit grenzt sich der Ansatz von Verfahren ab, die Tool-Calls oder den letzten Antworttext bewerten, etwa per KI-Grader. Ein solcher Grader würde den im Blog geschilderten Beispielfall als Erfolg werten, obwohl die Datenbank widerspricht. Text-to-SQL-RL wie PaVeRL-SQL oder ReToolSQL belohnt dagegen SQL-Ausführungsergebnisse bei Frage-zu-SQL-Aufgaben. Den Zustand nach einer mehrstufigen Agentenarbeit bewerten sie nicht.
Repo ungeprüft, Belohnungsdetails offen, Benchmark-Aufgaben nicht fürs Training
Offen bleibt einiges. Das Repository lag uns nicht vor. Details zur Belohnungsberechnung, zu Teilpunkten und zu Hyperparametern sind nicht belegt. Eine Replikation steht aus.
Ein koreanisches Community-Posting mit Stand 6. Oktober nannte den RL-Code noch unveröffentlicht. Das Blog bezeichnet ihn nun als verfügbar. Das lässt sich zeitlich erklären, wurde aber nicht eigenständig geprüft.
Zu den Lizenzen: Laut Community-Zusammenfassung steht der Code unter MIT, die Benchmark-Daten unter CDLA-Permissive-2.0. Das Daten-Repository verlangt außerdem, die Benchmark-Aufgaben ausschließlich zur Evaluation zu nutzen, nicht für Training oder Prompt-Optimierung. Dazu passt, dass die Belohnung auf separaten Trainingsaufgaben eingesetzt wurde.
Spitzenwerte anderer Modelle nennen wir nicht. Die Quellen dazu weichen voneinander ab.
