TenetBench: Sprachmodelle verletzen berufsethische Kodizes oft ohne Warnung

Elf von vierzehn Kombinationen liefern meist verstoßende Inhalte, oft ohne Warnung

Der neue Benchmark TenetBench prüft, ob Sprachmodelle berufsethische Kodizes einhalten. Nach Angaben der Autoren erzeugen elf von vierzehn getesteten Kombinationen aus Modell und Reasoning-Modus bei den meisten verstoßenden Anfragen einen verstoßenden Inhalt, meist ohne Warnung. Ob ein Modell den Text liefert, ablehnt oder warnt, werteten die Autoren je Anfrage aus.

Auffällig ist das Verhältnis von Warnung und Verstoß. Laut den Autoren begleiten knapp drei von vier Warnungen verstoßenden Inhalt. Ein Hinweis des Modells heißt also nicht, dass es den Verstoß vermieden hat. Für Nutzer ist das heikel: Wer einen Assistenten in der Berufspraxis einsetzt, bemerkt einen solchen Verstoß nach Darstellung der Autoren womöglich nicht.

Das Paper steht auf arXiv in der Kategorie Computation and Language und als Eintrag bei Hugging Face bereit. Welche Modelle getestet wurden, geht aus dem vorliegenden Material nicht hervor.

Verstöße an einzelnen Klauseln, nicht an breiten Schadenskategorien

TenetBench umfasst 3.433 Anfragen, die Klauseln von fünfzehn russischsprachigen Berufskodizes widersprechen. Zu jeder gehört ein harmloser Zwilling, der sich nur in der Legitimität des Erfragten unterscheidet. So lässt sich trennen, ob ein Modell grundsätzlich hilfsbereit ist oder tatsächlich einen unzulässigen Wunsch erfüllt.

Die Autoren kritisieren bestehende Prüfungen mit breiten Schadenskategorien. Sie zeigten nicht, wie oft ein Verstoß passiert oder welche Bestimmung verletzt wird. Das ist die Sicht der Autoren. Einen Vergleich mit bestehenden Ethik- und Safety-Benchmarks gibt es bislang nicht. TenetBench verankert Verstöße dagegen an einzelnen Klauseln.

Als Vergleichspunkt für russischsprachige Evaluation gibt es MERA, einen offenen Benchmark mit 21 Aufgaben in 11 Fähigkeitsbereichen (ACL 2024). MERA misst allgemeine Fähigkeiten, nicht die Einhaltung berufsethischer Regeln.

Pipeline und menschliche Validierung: Angaben der Autoren

Eine automatisierte Pipeline erzeugt die Aufgaben aus dem Kodextext. Das Korpus wächst also mit jedem weiteren Kodex, und eine Klausel liefert bei jedem Lauf neue Aufgaben. Nach Angaben der Autoren erzeugte die Pipeline außerdem Aufgaben und menschlich validierte Urteile aus zwei englischen Kodizes anderer Rechtsordnungen.

Zur Validierung der eingefrorenen Pipeline berichten die Autoren: Fachleute bewerteten 0,995 der verstoßenden Aufgaben als plausibel. Das Modell-Urteil stimmt mit dem adjudizierten Label überein, mit einem Gwet's AC1 von mindestens 0,894 auf 1.860 Elementen.

Alle diese Werte stammen von den Autoren. Pipeline, Modell-Judge und die Gewichtung der Ergebnisse als „frequent unflagged violations across most tested models“ beruhen auf ihrer eigenen Arbeit. Eine unabhängige Bestätigung oder Replikation gibt es nicht. Modell-Liste und Einzelergebnisse fehlen im Material, ebenso die betroffenen Berufe. Unternehmen, die LLM-Assistenten in regulierten Berufen einsetzen, sollten die Replikation abwarten, bevor sie Konsequenzen ziehen. Der Befund ist ernst zu nehmen, bleibt aber unbestätigt.