CauterRule v0.1.0 veröffentlicht: Sidecar wandelt Agenten-Fehler in Regeln um

Open-Source-Sidecar CauterRule v0.1.0 veröffentlicht

CauterRule v0.1.0 ist jetzt auf GitHub und PyPI veröffentlicht. Das Open-Source-Sidecar wandelt wiederholte Fehler von KI-Agenten in dauerhafte Regeln um. Dazu extrahiert es aus Fehler-Trajektorien Kandidaten-Regeln, testet diese per Replay gegen die Historie und übernimmt nur solche, die als wiederverwendbar und sicher erscheinen. Die Installation per pip install cauterule bringt eine vollständige CLI, einen MCP-Server, Export in sieben Formate sowie ein gebündeltes Git-Regelpaket mit. Durch das automatisierte Extrahieren von Kandidaten-Regeln aus Fehler-Trajektorien und deren Replay-Test gegen die Historie reduziert der Ansatz den Bedarf an manueller Regeldefinition und wiederholter Fehlerbehebung. Der Ansatz zielt darauf ab, aus wiederkehrenden Fehlern systematisch stehende Regeln abzuleiten.

Feldtest: Benchmark-Harness verursachte viele Fehler

Der begleitende Feldtestbericht evaluiert vier Modelle über 394 Trajektorien und ist die Quelle für alle Zahlen in diesem Artikel. In frühen Tests zeigten sich schwache lokale OMLX-Modelle, häufige Parse-Fehler und Korpus-Slices, die nicht vollständig durchliefen. Zunächst schien die Modellebene das Hauptproblem zu sein. Es war verlockend, die beobachteten Fehler den Modellen zuzuschreiben. Doch die Wiederholungsläufe nach Korrekturen an Parser, Prompts, Result-Reset und Timestamps zeigten ein anderes Bild: Der Benchmark-Harness selbst verursachte einen bedeutenden Teil der Fehler. Die Korrekturen betrafen den Parser, die Prompts, das Zurücksetzen von Ergebnissen und die Zeitstempel. Diese Komponenten hatten zuvor zu Fehlern geführt, etwa durch fehlerhafte Ausgabeverarbeitung, ungeeignete Eingabeaufforderungen, nicht zurückgesetzte Zustände zwischen Läufen und inkonsistente Zeitstempel. Die Rerun-Daten stützten diese Schlussfolgerung. Die Vorher-Nachher-Zahlen sind deutlich: Beim Local-Llama-Modell wurden vor den Fixes nur 3 von 11 Zeilen als golden parsed candidates erkannt, danach 10 von 10. Das Entwicklerteam zieht daraus den Schluss, dass die Messumgebung einen erheblichen Teil der beobachteten Ausfälle produzierte und die Modellebene weniger problematisch war als zunächst angenommen. Ein Teil der Fehler war also nicht auf die Modelle selbst, sondern auf die Testumgebung zurückzuführen. Der Feldtestbericht liefert damit eine wichtige Lektion für die Bewertung von Agenten-Systemen. Die Zahlen vor und nach den Fixes belegen den Einfluss der Harness-Konfiguration.