Tencent veröffentlicht WorkBuddy Bench: Benchmark für Coding-Agenten mit vier Domänen

Neues Benchmark-Tool für Coding-Agenten veröffentlicht

Tencent hat mit WorkBuddy Bench eine Multi-Domain-Evaluierungssuite für Coding-Agenten veröffentlicht. Der Benchmark deckt die vier Arbeitsdomänen Code, Web, Office und Security ab und ermöglicht einen systematischen Leistungsvergleich verschiedener KI-Modelle. Die Suite stellt ein einheitliches Evaluierungsframework bereit, das Aufgaben aus realen Entwicklungskontexten konstruiert und ausführt. Ein standardisiertes Scoring-Protokoll bewertet die Ergebnisse der Agenten, und ein Cross-Model-Leaderboard aggregiert die Resultate transparent über alle Domänen hinweg. So lassen sich Stärken und Schwächen der getesteten Modelle direkt ablesen.

Aufgaben aus echten Commits und Pull Requests

Die Methodik von WorkBuddy Bench zielt darauf ab, Datenkontamination zu vermeiden. Dazu werden sämtliche Aufgaben aus realen Commits, Pull Requests oder Geschäftsanforderungen abgeleitet, anstatt öffentlich zugängliche Issue-Texte zu verwenden. Jede Aufgabe wird aus einer tatsächlichen Code-Änderung reverse-engineered, sodass die resultierenden Problemstellungen nicht in öffentlichen Trainingskorpora enthalten sind. Das einheitliche Evaluierungsframework orchestriert die Konstruktion und Ausführung dieser Aufgaben über die vier Domänen hinweg: Es extrahiert die Aufgabenstellung aus dem Commit-Kontext, richtet eine isolierte Testumgebung ein, führt die Agentenlösung automatisiert aus und wendet das Scoring-Protokoll an. Das Scoring-Protokoll bewertet die Lösungen anhand eines Punktesystems, das Kriterien wie funktionale Korrektheit und Effizienz gewichtet. Die Einzelergebnisse werden im Cross-Model-Leaderboard normalisiert und zu einem domänenübergreifenden Ranking zusammengeführt, das einen direkten Modellvergleich erlaubt.