RepoFactory macht aus GitHub-Projekten 10.159 Trainingsumgebungen für Coding-Agenten
Die Autoren nennen für das trainierte Modell RepoHorizen-35B-A3B deutliche Zugewinne. Die Evolution Loop erklärt davon nur einen kleinen Teil. Öffentlich sind bisher nur 200 Umgebungen, und zwar vor der Evolution.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- RepoFactory erzeugt 10,159 verifizierbare Umgebungen in 17 Software-Domänen.
- Das Modell RepoHorizen-35B-A3B entsteht durch Training von Qwen3.5-35B-A3B auf diesen Umgebungen.
- RepoHorizen-35B-A3B gewinnt 22.6 Punkte auf NL2Repo-Bench (46.4 gegenüber 23.8).
- Im Schnitt über fünf Benchmarks gewinnt das Modell 8.5 Punkte (53.5 gegenüber 45.1).
- Die Environment Evolution Loop trägt 5.1 Punkte auf NL2Repo und 2.1 Punkte im Schnitt bei.
RepoFactory macht aus GitHub-Projekten 10.159 Trainingsumgebungen für Coding-Agenten
Ein Team der Beihang University, der Shanghai Jiao Tong University und von IQuest Research hat RepoFactory vorgestellt. Die Pipeline macht reale GitHub-Repositories zu prüfbaren Umgebungen. Darin muss ein Agent aus einer Sprachspezifikation ein vollständiges Projekt von Grund auf neu bauen. Die Autoren zählen 10.159 Umgebungen aus 17 Software-Domänen.
Mit diesen Umgebungen trainierte das Team Qwen3.5-35B-A3B zum Modell RepoHorizen-35B-A3B. Laut den Autoren erreicht es auf NL2Repo-Bench 46.4 Punkte statt 23.8, ein Plus von 22.6 Punkten. Im Schnitt über fünf Benchmarks für Long-Horizon-Coding und agentische Aufgaben liegt es bei 53.5 statt 45.1 Punkten. Alle Zahlen stammen aus der Veröffentlichung des Teams. Eine unabhängige Überprüfung gibt es nicht.
Statische Code-Metriken statt Solver-Rollouts: So repariert die Evolution Loop Umgebungen
Das Herzstück ist die Environment Evolution Loop. Sie optimiert ein multiplikatives Ziel aus Validität, struktureller Kopplung und Implementierungsumfang. Teure Solver-Rollouts, bei denen ein Modell jede Kandidatenumgebung erst durchspielen müsste, entfallen. Stattdessen dienen statische Code-Metriken als günstiges Signal. Pro Kandidat läuft die Schleife bis zu 12 Runden. Sie überarbeitet Oracle-Code, Spezifikation und Tests, prüft nach jeder Änderung neu und setzt erfolglose Versionen zurück. Auf diese Weise sollen auch zunächst unbrauchbare Repositories gerettet werden, statt verworfen zu werden.
Eine Umgebung besteht aus Spezifikation, isoliertem Workspace, Verifier und dem Original-Code als Oracle. Abhängigkeiten sind vorinstalliert. Netzwerkzugang gibt es nicht. Bewertet wird über ausführbare Tests in Docker-Images. Ausgewählt werden Repositories mit Paketmetadaten, einer nicht leeren Test-Suite, mindestens fünf Implementierungsdateien und weniger als 40.000 Zeilen Python-Code. Projekte mit Netzwerkzugriff, GUI oder Spezialhardware fallen heraus.
Zur Ausbeute nennen die Autoren für 500 Repositories 69.4 % gegenüber 33.8 %. Welche Baseline hinter den 33.8 % steht, geht aus der Darstellung nicht eindeutig hervor.
Die Evolution Loop erklärt nur 5.1 der 22.6 Punkte
Ohne Environment Evolution liegen die Gewinne laut den Autoren bei 17.5 Punkten auf NL2Repo und 6.4 im Fünf-Benchmark-Schnitt. Die Schleife trägt also 5.1 beziehungsweise 2.1 Punkte bei. Den größeren Teil des Zugewinns bringen demnach die Umgebungen selbst, nicht deren Nachbesserung.
Auch die weiteren Vergleiche stammen von den Autoren. RepoHorizen sei das stärkste Open-Weight-Ergebnis unter 200 Milliarden Parametern auf NL2Repo-Bench und liege vor GPT-5.5 (45.1) und Gemini-3.1 Pro (33.4). Die stärkste verglichene Open-Source-Datenquelle, OpenSWE, erreiche 25.2. Unbekannt ist, ob die Fremdmodelle unter identischen Bedingungen gemessen wurden. Einen unabhängigen Vergleich mit SWE-Gym, SWE-smith, R2E-Gym oder SWE-rebench gibt es bisher nicht.
Veröffentlicht sind zunächst 200 Umgebungen, nicht die 10.159 evolvierten
Auf GitHub und Hugging Face liegen Aufgabenpakete und vorgebaute Docker-Images. Die erste Veröffentlichung umfasst 200 überwiegend Python-basierte Umgebungen, und zwar vor der Evolution. Eine Zusammenfassung spricht allgemein davon, Code, Daten und Umgebungen seien quelloffen. Sie ist nach eigenem Hinweis KI-geschrieben und verallgemeinert. Maßgeblich ist die Angabe im GitHub-Repository.
Die evolvierten Umgebungen, auf denen die Ergebnisse beruhen, sind damit nicht vollständig einsehbar. Entwickler und Benchmark-Betreiber können daher kaum prüfen, ob sich Quell-Repositories und Evaluations-Sets überschneiden oder eine Kontamination vorliegt.



