Backup-Client mit acht Verhaltensweisen: Autor testet Evaluierungsinstrumente

Backup-Client mit acht bewusst gewählten Verhaltensweisen

Der Autor hat nach eigenen Angaben mit KI-Unterstützung einen kleinen nativen Backup-Client gebaut und ihm acht bewusst gewählte Verhaltensweisen gegeben. Die genauen acht Verhaltensweisen werden im Beitrag nicht einzeln aufgeführt; der Autor betont jedoch, dass er sie bewusst gewählt hat, um das Evaluierungsinstrument selbst zu prüfen, bevor der Code eines Agenten evaluiert wird. Der Client dient als Prüfobjekt: Statt zu fragen, ob ein Programm funktioniert, wird untersucht, welche unabhängigen Belege die Erfolgsbehauptung stützen. Einige Varianten des Clients erzeugen zwar die richtige Datei, verhalten sich auf dem Weg dorthin aber fragwürdig – sie führen zusätzliche oder unerwartete Schritte aus, die nicht zum erwarteten Ablauf gehören. Das ist problematisch, weil ein korrektes Endergebnis allein nicht ausreicht, wenn der Weg dorthin unzuverlässig oder unerwünscht ist. Eine Variante meldet sogar Erfolg, ohne überhaupt etwas gesichert zu haben. Der Autor kommentiert, dass der Kernel für solche fröhlichen Erfolgsmeldungen wenig Verständnis hat. Seine Reaktion auf die Aussage 'es funktioniert' werde zunehmend: 'Lass mich den Packet Capture sehen.'

Beobachtung von außen und Korrektur der Wahrheitsquellen

Der Autor beobachtete den Backup-Client von außerhalb seiner eigenen Protokollierung, um unabhängige Belege für dessen Erfolgsbehauptung zu erhalten. Statt sich auf die vom Client selbst erzeugten Logs zu verlassen, prüfte er externe Signale wie Netzwerkverkehr und Paketmitschnitte. Die Inspiration dafür stammt aus einem Artikel von Hemapriya Kanagala mit dem Titel 'What Happens When AI Outgrows the Tests We Use to Measure It?' und insbesondere aus ihrer Frage '92% according to what?'. Kanagala untersucht darin, wie Evaluierung an Aussagekraft verliert, wenn Benchmarks gesättigt sind, Referenzantworten kompliziert werden und Testbedingungen sich ändern. Der Autor wollte einen Teil dieser Diskussion auf die Werkbank bringen: Welche unabhängigen Beweise stützen die Erfolgsbehauptung eines Programms? Zunächst formulierte er die These, dass es bis zu einer Neudefinition der Funktionsweise von Computern zwei Wahrheitsquellen gebe: die CPU und das Netzwerk. Diese galten ihm als ursprüngliche Wahrheitsquellen, weil sie unabhängig von der Selbstauskunft des Programms beobachtbar sind. Der Autor räumt ein, dass diese These in seinem Kopf ausgezeichnet klang, bis technische Rückfragen kamen. Eine CPU könne einen falschen Algorithmus fehlerfrei ausführen, und ein Packet Capture könne fehlerfrei falsche Bytes am falschen Ziel aufzeichnen. Damit seien beide vermeintlichen Wahrheitsquellen nicht zuverlässig genug, um eine Erfolgsbehauptung unabhängig zu bestätigen. Der Autor dokumentiert diese Selbstkorrektur innerhalb desselben Beitrags und zeigt damit, dass auch die Instrumente zur Überprüfung von Programmen selbst hinterfragt werden müssen.