SWE-CoWork: Führende Coding-Agenten bestehen rund 63 Prozent der Tests, schließen aber unter 8 Prozent der Aufgaben ab
Der neue Benchmark von TokenWave-AI verteilt die Anforderungen auf simulierte Kollegen. Eine vollständige Spezifikation vorab hebt nur die Teiltests.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- SWE-CoWork umfasst 101 Aufgaben in 101 realen Repositories, 11 Sprachen und 12 Domänen.
- Jede Aufgabe setzt den Agenten in eine simulierte Organisation mit 26 Kollegen.
- Claude-Opus-5.5 erreicht 63,84 % F2P-Tests, aber 6,93 % vollständig abgeschlossene Aufgaben.
- GPT-6 Astra erreicht 62,91 % F2P-Tests und 7,92 % vollständig abgeschlossene Aufgaben.
- Mit vollständigen Anforderungen ab Beginn steigt F2P bei Seed Evolving und GPT-6 Astra um etwa 16 Prozentpunkte.
Führende Modelle bestehen rund 63 Prozent der Tests, schließen aber unter 8 Prozent der Aufgaben ab
Der Benchmark SWE-CoWork von TokenWave-AI misst eine Lücke zwischen Teilerfolg und vollständiger Lieferung. Er umfasst 101 Entwicklungsaufgaben in 101 realen Repositories. Die Coding-Agenten arbeiten darin in einer simulierten Organisation und müssen verteilte Anforderungen selbst zusammentragen. Nach Angaben der Autoren wurden elf Modelle evaluiert. Die beiden führenden bestehen rund 63 Prozent der Fail-to-pass-Tests (F2P). Vollständig abgeschlossen werden weniger als 8 Prozent der Aufgaben.
Im Einzelnen: Claude-Opus-5.5 erreicht 63,84 Prozent F2P bei 6,93 Prozent abgeschlossenen Aufgaben. GPT-6 Astra kommt auf 62,91 Prozent F2P und 7,92 Prozent. Sekundärquellen stimmen mit den Näherungswerten aus dem Abstract überein. Laut einer dieser Quellen schließen neun weitere Modelle höchstens 0,99 Prozent der Aufgaben ab.
82 Prozent der Anforderungen liegen nur bei simulierten Kollegen
Jede Aufgabe beginnt mit einer kurzen Übergabenotiz. Dazu kommen ein echtes Repository und acht Stunden Zeit. Die Anforderungen stehen aber nicht in einem Issue-Text. Laut Projekt-Repo liegen 82 Prozent davon ausschließlich bei simulierten Kollegen. Pro Aufgabe sind es 16 bis 32, im Median 28. Hinzu kommen Arbeitsdokumente, die sich teils widersprechen und abgeglichen werden müssen.
Insgesamt gibt es 26 Kollegen mit eigenen Zuständigkeiten und begrenztem Wissen. LLMs simulieren sie. Sie antworten über chat_send aus ihrem privaten Wissen. Der Agent liefert seine Änderung über /app/SOLUTION.md ab. Bewertet wird mit versteckten F2P- und Pass-to-pass-Tests in einem frischen Container.
Die Aufgaben decken 11 Programmiersprachen und 12 Anwendungsdomänen ab. JavaScript ist mit 21 Aufgaben am häufigsten, gefolgt von Python mit 19.
Vollständige Spezifikation vorab hebt Teiltests, nicht aber den Abschluss
Als zentralen Zusatzbefund berichten die Autoren: Liegen alle Anforderungen von Beginn an vor, steigt der F2P-Wert für Seed Evolving und GPT-6 Astra um etwa 16 Prozentpunkte. Bei GPT-6 Astra sind es 78,84 statt 62,91 Prozent. Der Anteil vollständig abgeschlossener Aufgaben bleibt unverändert.
Anders als TheAgentCompany und LHAW: echte Repositories, Chat-Beschaffung, versteckte Tests
TheAgentCompany simuliert eine kleine Softwarefirma. Agenten browsen, schreiben Code und sprechen mit Kollegen. Der beste dort getestete Agent schloss laut Abstract 30 Prozent der Aufgaben ab. LHAW von Scale AI liefert 285 künstlich unterspezifizierte Aufgaben. Dort wird untersucht, wie Agenten über einen simulierten Nutzer Klärungsfragen stellen. SWE-CoWork setzt dagegen auf echte Repositories und beschafft Anforderungen über den Chat mit Kollegen.
Nach Darstellung der Autoren messen Benchmarks der SWE-bench-Familie die Ausführung einer Spezifikation, nicht organisationale Arbeit. SWE-CoWork schließe diese Lücke. Das ist eine Herstellerdarstellung. Unabhängige Kritik liegt im Material nicht vor.
Projektseite, Code, Datensatz und Leaderboard sind öffentlich. Code und Datensatz liegen bei TokenWave-AI auf GitHub und Hugging Face. Der Datensatz enthält einen Index der Aufgabenpakete. Zur Ausführung braucht es zusätzlich Runtime und Workplace-Assets.



