KI SpotlightNewsGleiche Systemausgabe, andere Referenz: PII-Benchmark-Score schwankt um bis zu 7,55 Punkte
Ein Preprint tauscht bei einem sechssprachigen PII-Benchmark nur die Referenz aus und misst, wie stark sich der F1-Score dadurch verschiebt. Die Zahlen stammen aus dem Paper, eine unabhängige Replikation fehlt.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Der Annotationsdatensatz des sechssprachigen PII-Benchmarks enthält ein Gold-Aggregat und ein Reviewer-Gold.
- Tauscht man die Referenz aus, verschiebt sich der Score bei fester Systemausgabe um 4,95 F1-Punkte.
- Die gepaarte Interaktion Referenz × System beträgt +2,95 Punkte und dreht in einer Sprache die Marge.
- Ursache ist ein undokumentierter Aggregations-Standard, der bei misslungener Adjudikation meist ein Annotator-Label übernahm.
- Die Autoren berichten ein Reference-Sensitivity-Band und zeigen die Berechnung aus jedem aufbewahrten Annotationsdatensatz.
F1-Score verschiebt sich um bis zu 7,55 Punkte, obwohl die Systemausgabe unverändert bleibt
Der F1-Score eines sechssprachigen Benchmarks zur Erkennung personenbezogener Daten (PII) hängt stark von der Referenz ab, gegen die er gemessen wird. Ein Preprint mit dem Titel „Same Output, Different Gold“ belegt das. Die Autoren halten die bewertete Systemausgabe konstant und tauschen allein die Referenz aus. Bei der einen Ausgabe verschiebt sich der F1-Score dadurch um 4,95 Punkte (95-%-Konfidenzintervall 3,23 bis 6,27), bei der anderen um 2,00 Punkte (Intervall 0,26 bis 3,37). In der schlechtesten Sprache sind es bis zu 7,55 Punkte.
Alle Angaben stammen aus dem Paper. Eine unabhängige Replikation oder Einordnung durch Dritte gibt es bislang nicht. Aus dem Material geht außerdem nicht hervor, dass der untersuchte Benchmark mit den bekannten ai4privacy-Korpora identisch ist. Beide sollten nicht gleichgesetzt werden.
Zwei Referenzen im Datensatz: ausgeliefertes Aggregat gegen Experten-Re-Annotation
Der Vergleich ist möglich, weil der aufbewahrte Annotationsdatensatz zwei unabhängige Labelings enthält. Das erste ist das Aggregat, das als Gold ausgeliefert wurde. Das zweite ist ein Reviewer-Gold aus unabhängiger Experten-Re-Annotation einer Stichprobe.
Als Ursache nennen die Autoren einen undokumentierten Aggregationsstandard. Wenn die Adjudikation nicht griff, übernahm er meist das Label eines einzelnen Annotators. Die ausgelieferte Referenz war nach Darstellung der Autoren deshalb zum Teil eine Kopie einer Ausgabe, die gegen sie bewertet wurde. Eine Referenz, die einer bewerteten Ausgabe teilweise gleicht, bevorzugt diese Ausgabe. So erklärt sich, warum die Scores je nach Referenz auseinanderlaufen. Die Ursachenanalyse stammt von den Autoren und ist nicht unabhängig geprüft.
Auch der Systemvergleich kippt: Interaktion von +2,95 Punkten
Nicht nur absolute Werte verschieben sich, sondern auch der Vergleich zweier Ausgaben. Laut Paper beträgt die gepaarte Interaktion aus Referenz und System +2,95 Punkte (Intervall +1,97 bis +3,87). Sie hält der Korrektur für multiples Testen stand. In einer Sprache dreht sie sogar die Marge zwischen den beiden Ausgaben.
Die Autoren führen ein „Reference-Sensitivity-Band“ ein und zeigen, wie es sich aus jedem aufbewahrten Annotationsdatensatz berechnen lässt. Sie empfehlen, diese Größe neben dem Score auszuweisen. Betroffen sind Betreiber mehrsprachiger Benchmarks ebenso wie Nutzer, die Scores zur Werkzeugauswahl heranziehen. Für Letztere legt das Paper nahe, die Qualität der Referenz zu prüfen.
Das Paper ist auf arXiv und auf der Hugging-Face-Paper-Seite abrufbar.
