KI SpotlightNewsCrossSWE: Neuer Benchmark prüft Coding-Agenten bei Änderungen über mehrere Repositories
171 Aufgaben aus 165 Repositories. Nach Angaben der Autoren erreicht das beste von fünf Modellen 58,48 % Pass@1. Die Zahlen sind unabhängig nicht reproduziert.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- CrossSWE umfasst 171 reale Instanzen aus 165 Repositories, 20 Domänen und 13 Programmiersprachen.
- Das stärkste Modell, GPT-6.1 Sol, erreicht 58,48 % Pass@1 bei fünf evaluierten LLMs.
- Cross-Repository-Inkonsistenzen sind mit 44,2 % die häufigste Fehlerklasse.
- Der Datensatz CrossSWE/CrossSWE-Bench auf Hugging Face enthält 171 Aufgaben mit 350 Repository-Einträgen.
- Die Evaluation braucht Linux mit Docker (linux/amd64) und Python 3.10 oder neuer; Deno-Evaluator: mindestens 52 GiB freier RAM.
Bestes von fünf Modellen löst 58,48 % der Aufgaben auf CrossSWE
Der neue Benchmark CrossSWE testet Coding-Agenten bei koordinierten Änderungen, die sich über mehrere voneinander abhängige Repositories erstrecken. Nach Angaben der Autoren umfasst er 171 Aufgaben aus 165 Repositories, verteilt auf 20 technische Domänen und 13 Programmiersprachen.
In eigenen Messungen haben die Autoren fünf Sprachmodelle getestet. Das stärkste erreicht 58,48 % Pass@1. Im Abstract trägt es die Bezeichnung „GPT-6.1 Sol“. Weitere Angaben zu den Modellen enthalten die vorliegenden Belege nicht. Als häufigste Fehlerklasse nennen die Autoren Inkonsistenzen zwischen Repositories, mit einem Anteil von 44,2 %.
Die Autoren deuten das Ergebnis so: Aktuelle Modelle haben bei der Konsistenz über Repositories hinweg „substanzielle Schwierigkeiten“. Auch die Bezeichnung „real-world“ für die Instanzen stammt aus dieser Rahmung der Autoren. Alle genannten Zahlen stammen aus dem Paper und sind unabhängig nicht reproduziert.
Eine Teiländerung an einem Repository soll nicht reichen
Die Aufgaben sollen belegen, dass koordinierte Änderungen nötig sind. Geprüft wird deshalb, ob partielle Änderungen an einem einzigen Repository nicht ausreichen, um das beabsichtigte Verhalten herzustellen. Der Agent muss also an mehreren Repositories zugleich ansetzen.
Der Datensatz „CrossSWE-Bench“ auf Hugging Face enthält 171 Aufgaben mit 350 Repository-Einträgen aus 165 Upstream-Repositories. Jede Instanz umfasst eine Problemstellung, fixierte Repository-Revisionen, Referenz-Patches, Testmaterial, einen Evaluationsvertrag und eine Container-Umgebung, die per Digest festgelegt ist. Die Dokumentation nennt als Aufgabentypen unter anderem Bibliothek und Konsument, API und Implementierung sowie Build-Tool und Abhängigkeit.
Ausführung über Docker Hub, der Deno-Evaluator braucht 52 GiB RAM
Der Datensatz ist öffentlich. Ein Hugging-Face-Token ist nicht nötig. Das vollständige Environment-Release mit allen 171 Instanzen datiert vom 30. Oktober 2026. Die Container-Images liegen auf Docker Hub unter silinchen0617/crossrepo-bench.
Für die Ausführung braucht es einen Linux-Host mit Docker (linux/amd64) und Python 3.10 oder neuer. Das Kommandozeilenwerkzeug scripts/crossswe.py listet Aufgaben auf, zeigt sie an und führt sie aus.
Der Ressourcenbedarf schwankt laut Anleitung stark je nach Aufgabe. Als Beispiel nennt sie den Deno-Evaluator. Er verlangt vor einem Lauf mindestens 52 GiB freien Host-RAM.
WideSWE behandelt die Problemklasse bereits
CrossSWE ist nicht der erste Benchmark für Aufgaben über mehrere Repositories. WideSWE behandelt dieselbe Problemklasse mit 120 realen Aufgaben, je 60 Bugfixes und Features, aus 103 Software-Ökosystemen. Über sieben Agent-Konfigurationen liegt der volle Aufgabenerfolg dort zwischen 10,83 % und 42,50 %. Ein direkter Vergleich mit den CrossSWE-Werten ist nicht möglich, weil Aufgaben, Modelle und Setups abweichen.
Andere bekannte Benchmarks messen die Konsistenz über Repositories nicht. Multi-SWE-bench umfasst 1.632 Instanzen mit je einem Repository pro Aufgabe. SWE-Explore untersucht die Exploration innerhalb eines einzelnen Repositories.
