KI-Textdetektoren scheitern an getarntem Text: MIT und Cornell setzen auf Anpassung im Betrieb
Nach Angaben der Autoren erkennt Pangram 27,0 Prozent des getarnten KI-Texts, ihr Test-Time-Ansatz 93,3 Prozent. Unabhängige Studien relativieren die Zuverlässigkeit von Detektoren generell.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Forscher von MIT und Cornell zeigen: KI-Textdetektoren lassen sich durch getarnten KI-Text täuschen.
- Die arXiv-Arbeit nennt drei Verschiebungen: adversarielle Humanisierung, neue LLMs und zeitliche Drift menschlichen Schreibens.
- Der TTA-Ansatz erkennt 93,3 % des adversariellen KI-Textes, Pangram nur 27,0 %.
- Test-Time-Adaptation passt ein eingesetztes Detektionsmodell zur Laufzeit an, ohne von Grund auf neu zu trainieren.
- Eine unabhängige arXiv-Arbeit zeigt: Angegebene AUROC-Gewinne verschwinden bei beidseitigen Angriffen.
Pangram erkennt nur 27 Prozent des getarnten KI-Texts
Detektoren für KI-Text, die mit beschrifteten Beispielen trainiert wurden, verlieren im Einsatz an Treffsicherheit. Forscher des MIT und der Cornell University zeigen das in der arXiv-Arbeit „Hitting a Moving Target: Test-Time Adaptation for AI Text Detection under Continual Distribution Shift“. Nach ihren Angaben treten nach dem Einsatz laufend drei Verschiebungen auf, zu denen meist keine beschrifteten Daten vorliegen. Die erste ist gezielte „Humanisierung“ von KI-Text. Die zweite sind neu erscheinende Sprachmodelle. Die dritte ist eine zeitliche Drift im menschlichen Schreiben seit der breiten Nutzung von LLMs, deren Ursache sich nicht eindeutig zuordnen lässt.
Am auffälligsten ist ein Ergebnis aus dem Abstract. Das kommerzielle Modell Pangram erkennt 27,0 Prozent des adversariellen KI-Textes der Autoren. Ihr eigener Ansatz, die Test-Time-Adaptation (TTA), kommt auf 93,3 Prozent. Der Pressetext von MIT News rundet auf 27 und 93 Prozent.
Die Zahlen stammen von den Autoren und beziehen sich auf einen getarnten Text, den sie selbst erzeugt haben. Wie dieser Text entstand und wie andere Detektoren auf ihm abschneiden, ist bislang nicht bekannt. Die Autoren folgern, dass überwachte Spitzendetektoren bei Verschiebungen systematisch scheitern. Das gilt für KI-generiertes wie für menschliches Schreiben, gleich ob die Verschiebung gezielt herbeigeführt wurde oder natürlich entstand.
Test-Time-Adaptation: Der Detektor lernt beim Einsatz weiter
Gängige Detektoren lernen nur vor dem Einsatz, aus beschrifteten Beispielen menschlicher und maschineller Texte. Taucht danach ein neues Sprachmodell oder ein neuer Tarnstil auf, fehlt dem Modell die Grundlage. Frische beschriftete Daten gibt es im Alltag selten. Hier setzt TTA an.
Bei diesem Verfahren passt ein bereits eingesetztes Modell seine inneren Parameter zur Laufzeit an neue, unbeschriftete Daten an. Ein Neutraining von Grund auf ist dafür nicht nötig. Nach Darstellung der Forscher kann sich das Modell so auf Eingaben einstellen, die es nie gesehen hat.
Als Signal nutzen die Autoren die Homogenität zwischen den unbeschrifteten Proben, die der Detektor zur Inferenzzeit beobachtet. Dieses Merkmal von LLM-Nutzung, so ihre Begründung, werten bestehende Ansätze nicht aus. Die Variante mit Semi-Supervised-Learning gilt laut Abstract als weitgehend robust gegen die untersuchten Verschiebungen.
Wie die Homogenität gemessen wird, welche Detektoren angepasst wurden und wie viel Rechenaufwand die Anpassung im Betrieb kostet, ist bislang nicht bekannt.
Unabhängige Tests: Gewinne verschwinden, wenn beide Seiten angegriffen werden
Dass Detektoren sich täuschen lassen, ist nicht neu. Die arXiv-Arbeit „Attacking Only Half the Data“ erinnert daran, dass die Zuverlässigkeit der Detektoren von Beginn an bezweifelt wurde. Sie verweist auf Krishna et al. 2023, die zeigten, dass Paraphrasieren die Leistung einbrechen lässt. Der MIT/Cornell-Befund bestätigt damit im Wesentlichen frühere Arbeiten. Neu ist der Lösungsansatz.
Die Two-Sided-Studie prüft, was frühere Tests ausließen. Meist wurde nur maschineller Text angegriffen. Menschlicher Text verändert sich aber ebenfalls, etwa durch Grammatikkorrektur, Formatierung oder unsichtbare Zeichen. Die Autoren greifen beide Klassen an. Über zwei Korpora und neun Detektoren verschwinden die zuvor berichteten AUROC-Gewinne. Angegriffener menschlicher Text wird mit Raten bis zu 100 Prozent falsch eingestuft.
Einfache Vorverarbeitung macht zeichenbasierte Angriffe rückgängig. Wortbasierte Synonymersetzung bleibt dagegen wirksam. Sie erhält die Bedeutung und lässt sich nicht umkehren. Ob TTA solchen beidseitigen Angriffen standhält, ist bislang nicht bekannt.
Eine weitere Arbeit mit dem Titel „Your AI Text is not Mine“ benennt ein Grundproblem: Eine einheitliche Definition schädlicher KI-Nutzung fehlt. Im Benchmark AITDNA, der Texte enthält, die Mensch und Maschine gemeinsam erstellt haben, funktionieren Detektoren oft nur für bestimmte Vorstellungen von KI-Text. Als breite Detektoren taugen sie demnach nicht.
Fehlalarme: Nicht-Muttersprachler und Kasachisch-Texte besonders betroffen
Wer fälschlich verdächtigt wird, trägt den Schaden. Eine Stanford-Studie unter Senior-Autor James Zou stufte 61,22 Prozent der TOEFL-Aufsätze von Nicht-Muttersprachlern als KI-generiert ein. Alle sieben Detektoren zusammen erklärten übereinstimmend 18 von 91 Aufsätzen (19 Prozent) zu KI-Texten. Mindestens ein Detektor tat das bei 89 von 91 Aufsätzen (97 Prozent). Bei Aufsätzen US-amerikanischer Achtklässler arbeiteten die Detektoren dagegen laut Bericht nahezu fehlerfrei.
Zou führt das auf die Funktionsweise zurück. Detektoren bewerten typischerweise die Perplexität, die mit sprachlicher Raffinesse zusammenhängt. Nicht-Muttersprachler schneiden bei lexikalischer Vielfalt sowie bei syntaktischer und grammatischer Komplexität üblicherweise schwächer ab.
Das Muster zeigt sich auch jenseits des Englischen. Die Studie AINA-KK prüft Kasachisch mit 3.811 menschlichen Passagen, die nachweislich vor ChatGPT entstanden. Fünf englisch trainierte Detektoren markieren bis zu 81,4 Prozent davon als KI. Bei veröffentlichten Studentenaufsätzen sind es 79,6 Prozent. Nach einer Rekalibrierung erkennen sie höchstens 1,3 Prozent des Maschinentexts. Entweder schlagen die Detektoren also falsch an, oder sie erkennen kaum etwas.
Für Lehrkräfte und Hochschulen folgt daraus: Ein Treffer ist bei Nicht-Muttersprachlern und in weniger verbreiteten Sprachen nur ein schwacher Hinweis. Allein trägt er keine Anschuldigung. Das ergibt sich aus den Zahlen selbst, nicht aus einer Empfehlung der Studien.
Binoculars gegen Patentansprüche: Wie verlässlich sind perplexitätsbasierte Detektoren?
Beim Zero-Shot-Detektor Binoculars stehen sich zwei Aussagen gegenüber. Die Autoren geben an, er erkenne über eine Vielzahl von Dokumenttypen mehr als 90 Prozent der Texte von ChatGPT und anderen LLMs. Die Falsch-Positiv-Rate liege bei 0,01 Prozent, und ChatGPT-Daten seien im Training nicht verwendet worden. Sie beanspruchen State-of-the-art-Genauigkeit und eine Konkurrenzfähigkeit mit kommerziellen Programmierschnittstellen. Dabei handelt es sich um Herstellerangaben.
Die Studie „The Perplexity Trap“ kommt bei Patentansprüchen zu einem anderen Ergebnis. Binoculars, Fast-DetectGPT und DetectGPT überschreiten demnach auf Anspruchsebene allesamt eine hohe Falsch-Positiv-Rate. Die Autoren führen das auf Artikel 84 des Europäischen Patentübereinkommens zurück. Ansprüche müssen klar und knapp formuliert sein. Das drückt menschlichen Text in den Bereich niedriger Perplexität, den auch LLMs standardmäßig erzeugen.
Als wahrscheinliche Ursachen des Widerspruchs kommen zwei Faktoren in Betracht. Der erste sind die Textdomänen: allgemeine Dokumenttypen hier, formelhafte juristische Sprache dort. Der zweite ist die Hardware, denn die Patentstudie testet unter Bedingungen einer einzelnen Verbraucher-GPU.
Einschränkend gilt: Die genauen Falsch-Positiv-Werte der Patentstudie sind bislang nicht bekannt. Der Widerspruch ist deshalb nur eingeschränkt belegt.
Was für Prüfer gilt und was noch offen ist
Wer täuschbare und driftende Detektoren einsetzt, trägt ein doppeltes Risiko. Getarnter KI-Text bleibt unerkannt. Zugleich werden menschliche Texte markiert, etwa von Nicht-Muttersprachlern oder in formelhafter Sprache. Betroffen sind Hochschulen und Lehrkräfte, aber auch Verlage, Redaktionen, Personalabteilungen und Plattformen. Die Autoren der MIT/Cornell-Arbeit nennen außerdem Cybersecurity als Anwendungsfeld, etwa Phishing und SEO-Betrug.
Die Autoren bezeichnen TTA als „vielversprechende Rahmenstruktur“ für die KI-Textdetektion in der Praxis. Laut MIT News könnte das Verfahren Lehrkräften, Redaktionen und Personalabteilungen helfen. Das ist ihre eigene Bewertung.
Über die Pangram-Zahl hinaus sind die getesteten Detektoren, die Datensätze und die Metriken der Arbeit bislang nicht bekannt, denn Abstract und Pressetext von MIT News nennen sie nicht. Eine unabhängige Replikation auf anderen Detektoren, Datensätzen und aktuellen LLMs steht aus. Bis dahin zeigen die 27,0 und 93,3 Prozent vor allem, dass die Autoren ihren Ansatz auf dem eigenen Testtext überlegen sehen.



