ToolSpace leitet Agentenumgebungen aus echten MCP-Spuren ab

ToolSpace baut Agentenumgebungen aus beobachteten Tool-Abhängigkeiten

Das Framework ToolSpace kehrt die übliche Reihenfolge bei der Synthese von Agentendaten um. Bisherige Methoden für MCP-Umgebungen erfinden zuerst eine Datenbank und ein Szenario. Daraus leiten sie Tools und Aufgaben ab. Nach Darstellung der Autoren passen die Tool-Schnittstellen dadurch womöglich nicht zu den echten. Die Kompositionen sind außerdem nicht ausführungsbasiert verankert, und Aufgaben überspannen selten mehr als eine Umgebung.

ToolSpace setzt stattdessen bei Tools und Spuren an. Es gewinnt Daten-, Zustands- und Retry-Abhängigkeiten aus benachbarten Aufrufen in Ausführungsspuren echter MCP-Dienste und offener Agenten-Korpora. Dabei arbeitet es mit deterministischen Regeln statt mit LLM-Urteilen. Den gewichteten Kompositionsgraphen clustert es zu Umgebungen. Datenbanken entstehen nur für zustandsändernde Umgebungen. Query- und zustandslose Tools spielen aufgezeichnete Rückgaben ab.

Ein zustandsbewusster Random Walk mit Rollback erzeugt Tool-Ketten. Das System übersetzt sie in natürlichsprachliche Aufgaben mit assertionsbasierten Prüfungen. Behalten werden nur Samples, die sich vom Ausgangszustand aus erfolgreich erneut abspielen lassen. Hinter dem Paper stehen laut der Zusammenfassung von aiweekly Forschende der Renmin University of China, der Fudan University und der Shanghai Jiao Tong University.

Pro-Benchmarks kosten Frontier-Modelle bis zu 38,2 Punkte, Checkpoints liegen offen

Angewandt auf AutomationBench und tau3-Bench Banking entstehen laut Paper härtere Pro-Versionen. Auf ihnen verlieren sieben Frontier-Modelle bis zu 38,2 Punkte. Die aiweekly-Zusammenfassung nennt für den AutomationBench-Pro-Split einen Abfall von 32,9 Punkten bei Claude Opus 5.5.

Als Trainingsdaten eingesetzt, hebt ToolSpace das Modell Qwen3.6-35B-A3B über sieben Langzeit-Benchmarks im ungewichteten Mittel von 23,0 auf 41,0 Punkte. Nach Reinforcement Learning steigt der Wert auf 43,2. Das 744B-Modell erreicht laut Paper-Bericht 56,6 im Durchschnitt. Demnach liegt es vor GPT 5.6 Sol (48,9) und auf Augenhöhe mit Claude Opus 5. Alle Werte sind Angaben der Autoren.

Veröffentlicht sind drei Checkpoints auf Hugging Face: ToolSpace-8B, ToolSpace-35B-A3B auf Qwen3.6-Basis und ToolSpace-744B-A40B auf Basis von GLM-5.2. Das größte Modell hat 744 Milliarden Parameter, davon 40 Milliarden aktiv. Der BF16-Checkpoint wiegt rund 1,51 Terabyte. 8B und 35B-A3B sind SFT-Checkpoints, auf denen die RL-Varianten aufbauen. Dazu kommen ein GitHub-Repository mit Code und ein Evaluationsverzeichnis.

Unabhängige Bestätigung fehlt, und die Modellnamen in der Zusammenfassung widersprechen sich

Eine unabhängige Replikation der Zahlen gibt es bislang nicht. Auch dass ToolSpace „realistische“ Benchmarks erzeuge, ist eine Selbsteinschätzung der Autoren. Die Replay-Validierung belegt, dass sich Samples ausführen lassen. Sie belegt nicht, dass die Samples echten Einsatz abbilden. Der „File count“ ist laut GitHub-Seite nur ein Proxy für den Syntheseaufwand. Eine gemessene Ersparnis bei Kosten oder Laufzeit ist es nicht.

Die aiweekly-Zusammenfassung widerspricht sich außerdem bei den Modellnamen. Einmal fällt „GPT 6.1 Sol“ um 26,1 Punkte ab. An anderer Stelle liegt das 744B-Modell vor „GPT 5.6 Sol“. Ob es sich um zwei Modelle oder um einen Tippfehler handelt, lässt sich mit dem vorliegenden Material nicht klären. Klären könnte das nur das Paper selbst. Der Benchmark MCP-Universe testet dagegen gegen echte MCP-Server.