Studie: Fehlerzählung bei KI-Code unterschätzt Risiko systematisch

Fehlerhäufigkeit als trügerischer Maßstab

ReWeaver AI hat eine kontrollierte Studie veröffentlicht, die ein verbreitetes Messverfahren für KI-generierten Code grundsätzlich infrage stellt. Demnach unterschätzt die gängige Praxis, Code-Drift allein anhand der Fehlerhäufigkeit zu bewerten, das tatsächliche Risiko systematisch. Die Messung greift zu kurz, weil sie andere Dimensionen der Code-Qualität ignoriert – die Studie bewertete die Ergebnisse anhand von acht Produktionsdimensionen. Stattdessen stellt das Unternehmen eine neue Metrik vor, die nach eigener Darstellung die Wahrnehmung von Code-Drift verändern soll. [Herstellerangabe] Konkrete Details zu dieser Metrik nennt die Studie nicht; sie zielt jedoch darauf ab, die Lücke zwischen oberflächlicher Fehlerzählung und den tatsächlichen Produktionsrisiken zu schließen. Die Ergebnisse legen nahe, dass Entwicklungsteams, die sich auf reine Fehlerstatistiken verlassen, blinde Flecken in Kauf nehmen – insbesondere dann, wenn KI-Assistenten Code generieren, der auf den ersten Blick korrekt erscheint, aber in der Tiefe von Vorgaben abweicht.

42 Prompts, fünf Tools und eine menschliche Baseline

Für die Studie vergab ReWeaver AI 42 identische Prompts an fünf KI-Coding-Tools: Cursor, Claude Code, Lovable, Figma Make und VS Code mit Copilot. Die so erzeugten Komponenten wurden anhand von acht Produktionsdimensionen ausgewertet und mit einer menschlichen Baseline verglichen. Die einheitlichen Prompts stellten sicher, dass alle Tools die gleiche Aufgabe erhielten. Die Auswahl der Werkzeuge umfasst nach Angaben des Unternehmens führende Lösungen am Markt. Durch die mehrdimensionale Analyse soll die Untersuchung zeigen, dass die übliche Fokussierung auf Fehlerhäufigkeiten zu kurz greift. Die neue Metrik, so die Ankündigung, werde die Wahrnehmung von Code-Drift grundlegend verändern – ohne dass die Studie deren Funktionsweise offenlegt. [Herstellerangabe]