Code Court: Drei KI-Agenten verhandeln Pull Requests im Discord-Kanal

Drei KI-Agenten verhandeln Pull Requests im Discord-Kanal

Code Court lässt drei KI-Agenten einen GitHub-Pull-Request in einem Discord-Kanal prüfen, bevor ein Mensch ihn zu sehen bekommt. Die Jury bildet das menschliche Team. Das Projekt entstand für den Flip the Switch Hackathon von DevTools Academy × Switch AI und ist ein Prototyp. Alle Angaben dazu stammen vom Autor selbst. Ungeprüft sind sie bislang.

Laut Autor laufen alle drei Agenten auf Claude Opus 5.5. Die Anbindung erfolgt über den Claude-Code-Provider in Switch, auf dem Laptop des Autors.

Richter, Ankläger und Verteidiger: Rollen und Testbeispiele des Autors

Der Autor verteilt die Rollen wie in einem Gerichtssaal. Der Richter eröffnet den Fall, liest den Diff und urteilt über jede Anklage. Der Ankläger sucht Bugs, fehlende Validierung und fehlende Tests und nennt dazu Datei und Zeile (file:line). Der Verteidiger antwortet auf jede Anklage mit CONCEDE, MITIGATE oder CONTEST. Anschließend stimmt das Team per Reaktion ab: ⚖️ nimmt das Urteil an, ❌ hebt es auf.

Als Beispiele nennt der Autor zwei Fälle aus eigenen Tests. Der Ankläger habe gezeigt, dass ein 150-%-Coupon einen 100-Dollar-Warenkorb auf −50 Dollar drückt. Der Richter habe außerdem erkannt, dass der Fix der Verteidigung für einen Rundungsfehler weiterhin fehlerhaft ist. Beides sind Angaben des Autors. Eine unabhängige Prüfung liegt nicht vor.

Auch die Begründung für das Format stammt vom Autor: Ein einzelner Reviewer, ob Mensch oder KI, habe blinde Flecken. Das Gerichtsformat mit Angriff, Verteidigung und neutralem Richter behebe das. Belegt ist diese Behauptung nicht.

Das Prinzip ist nicht neu, ein Wirksamkeitsbeleg fehlt

Neu ist die Verpackung: ein Gerichtsverfahren im Discord-Kanal mit menschlicher Jury. Adversariales Review durch mehrere Agenten gibt es bereits. Ein anderes Projekt setzt ebenfalls Ankläger, Verteidiger und Richter ein. Es arbeitet aber über GitHub-Webhook und Micro-VMs, was ausdrücklich nicht die Architektur von Code Court ist. Hinzu kommen ein Debattenprojekt, in dem Claude und GPT einander kritisieren, sowie ein Agent-Skill mit mehreren Reviewern.

Die Arbeit Refute-or-Promote verwarf nach Angaben ihrer Autoren 79 Prozent von 171 Kandidaten. Das sind deren Ergebnisse zu ihrer eigenen Pipeline, nicht zu Code Court.

Ob Debatten überhaupt helfen, ist umstritten. Eine Sekundärzusammenfassung der Arbeit von Choi et al. sieht sie skeptisch. Sie bezieht sich aber auf Frage-Antwort-Benchmarks, nicht auf Code Review.

Vergleiche mit Copilot, CodeRabbit oder Greptile fehlen ebenso wie unabhängige Belege für bessere Ergebnisse. Handlungsbedarf besteht für niemanden.