Pangram verspricht 38-fach niedrigere Fehlerraten – doch Tests widersprechen

Pangram verspricht 38-fach niedrigere Fehlerraten – doch Tests widersprechen

Mit dem Anspruch, KI-generierte Texte mit extrem niedrigen Fehlerraten zu erkennen, ist das Tool Pangram in den Fokus gerückt. Entwickelt von einem Team ehemaliger Stanford-Forscher, soll der Detektor auf einem transformer-basierten neuronalen Netz beruhen und laut einem technischen Report mehr als 38-fach niedrigere Fehlerraten erzielen als führende kommerzielle Alternativen und Zero-Shot-Methoden wie DetectGPT. In Deutschland wurde Pangram vor allem durch zwei Recherchen bekannt, die Bundesdigitalminister Karsten Wildberger und Thüringens Ministerpräsident Mario Voigt vorwarfen, Reden und Gastbeiträge mithilfe von KI verfasst zu haben. Die dabei eingesetzte Software war Pangram. Doch unabhängige Untersuchungen und Nutzerberichte zeigen bereits Diskrepanzen zu den Herstellerangaben. Eine Studie des Becker Friedman Institute der University of Chicago attestiert Pangram zwar unter bestimmten Bedingungen nahezu keine Falsch-positiven und Falsch-negativen Ergebnisse, weist aber zugleich eine Falsch-negativ-Rate von 2 bis 4 Prozent aus – höher als die des Konkurrenten GPTZero. Zudem klafft bei der beworbenen Falsch-positiv-Rate eine Lücke zwischen den vom Hersteller genannten 1 zu 10.000 und den in der Studie gemessenen 2 Prozent.

Die Herstellerangaben: 92 % Trefferquote und eine Falsch-positiv-Rate von 1:10.000

Das Kernstück von Pangram ist ein transformer-basiertes neuronales Netz, das speziell darauf trainiert wurde, Texte von großen Sprachmodellen von menschlichen Texten zu unterscheiden. Der Hersteller testete das Modell auf einem umfassenden Benchmark, der zehn Textdomänen abdeckt – darunter studentische Arbeiten, kreatives Schreiben, wissenschaftliche Publikationen, Bücher und Enzyklopädieeinträge. Im Vergleich zu anderen kommerziellen Detektoren und Zero-Shot-Ansätzen wie DetectGPT erreichte Pangram dabei nach eigenen Angaben eine um den Faktor 38 niedrigere Fehlerrate. In internen Tests identifizierte das Tool 92 Prozent der KI-generierten Texte korrekt, während GPTZero auf 85 Prozent kam. Die Falsch-positiv-Rate – also die Wahrscheinlichkeit, einen menschlichen Text fälschlich als KI-generiert einzustufen – beziffert das Unternehmen auf 1 zu 10.000. Diese Werte stammen aus dem technischen Report des Herstellerteams, das aus ehemaligen Stanford-Forschern besteht. Allerdings sind die genauen Testbedingungen und die Zusammensetzung der Datensätze nicht vollständig offengelegt, sodass eine unabhängige Reproduktion der Ergebnisse bislang aussteht.

Becker-Friedman-Studie: Nahezu null Falsch-positive, aber höhere Falsch-negativ-Rate als GPTZero

Eine Untersuchung des Becker Friedman Institute der University of Chicago kommt zu einem differenzierten Bild. Die Studie zeigt, dass Pangram bei mittellangen bis langen Texten nahezu keine Falsch-positiven und Falsch-negativen Ergebnisse produziert. Diese Bedingung – die Textlänge – ist entscheidend: Für kürzere Texte oder im breiteren Testfeld fällt die Genauigkeit ab. So weist die Untersuchung für Pangram insgesamt eine Falsch-negativ-Rate von 2 bis 4 Prozent aus, während GPTZero nur auf 0 bis 2 Prozent kommt. Das bedeutet, dass Pangram in der breiteren Testkonstellation mehr KI-Texte unerkannt durchgehen lässt als der Konkurrent. Die Diskrepanz zwischen der nahezu perfekten Erkennung bei längeren Passagen und der höheren Fehlerquote im Durchschnitt unterstreicht, dass die Leistung stark von Faktoren wie Textlänge und -domäne abhängt. Die genauen Testbedingungen, die zu den unterschiedlichen Ergebnissen führten, sind aus den vorliegenden Berichten nicht vollständig ersichtlich.

Falsch-positiv-Rate: 1 zu 10.000 vs. 2 % – ein eklatanter Widerspruch

Besonders augenfällig ist der Widerspruch bei der Falsch-positiv-Rate. Während Pangram auf seiner Website mit einem Wert von 1 zu 10.000 wirbt, gibt eine vom Unternehmen selbst angeführte Studie eine Rate von 2 Prozent an. Möglicherweise bezieht sich die niedrigere Zahl auf einen spezifischen, besonders günstigen Testdatensatz oder auf längere Texte, während die 2 Prozent aus einem breiter angelegten Benchmark stammen. Eine abschließende Erklärung für die unterschiedlichen Angaben liefert Pangram bislang nicht. Für Anwender bedeutet dies, dass die tatsächliche Gefahr, einen menschlichen Text fälschlich als KI-generiert einzustufen, je nach Kontext deutlich höher liegen kann als beworben.

Praxistest in der Politik: Als Pangram Minister unter KI-Verdacht stellte

Die möglichen Konsequenzen solcher Unsicherheiten zeigten sich in Deutschland, als Pangram in zwei politischen Kontroversen zum Einsatz kam. Recherchen warfen Bundesdigitalminister Karsten Wildberger und Thüringens Ministerpräsident Mario Voigt vor, Reden und Gastbeiträge mit KI-Unterstützung verfasst zu haben. Als Beleg dienten Analysen des Detektors. Die Vorwürfe erregten Aufsehen, doch die Validität der Ergebnisse blieb umstritten, weil die Fehlerraten des Tools nicht abschließend geklärt sind und unabhängige Tests deutliche Abweichungen von den Herstellerangaben zeigen. Der Fall illustriert, wie schnell KI-Detektoren in sensible gesellschaftliche Debatten hineinwirken und welche Verantwortung Hersteller tragen, belastbare Genauigkeitsangaben zu machen.

Verlässlichkeit ungewiss – Anwender sollten skeptisch bleiben

Die Diskrepanzen zwischen den Herstellerangaben und unabhängigen Testergebnissen lassen die tatsächliche Zuverlässigkeit von Pangram ungewiss erscheinen. Die beworbene Falsch-positiv-Rate von 1 zu 10.000 steht im Widerspruch zu den 2 Prozent aus der zitierten Studie, und die Falsch-negativ-Rate liegt im Durchschnitt höher als bei GPTZero. Zwar kann das Tool unter bestimmten Bedingungen – etwa bei mittellangen bis langen Texten – sehr genau arbeiten, doch für den praktischen Einsatz sind die Bedingungen, unter denen diese Genauigkeit erreicht wird, nicht transparent genug. Bis eine unabhängige Validierung auf breiten, repräsentativen Textkorpora vorliegt, sollten Anwender den Ergebnissen mit Vorsicht begegnen und sich nicht allein auf das Urteil des Detektors verlassen.

Wenn der Detektor zum Richter wird – und irrt

Während Hot-Magazine-1912 in r/Professors Pangram als nützlich empfindet („Pangram says most of my students are NOT using AI which makes me feel good“), berichten Studierende wie thecowmeatguy in r/CapellaUniversity von massiven Fehlalarmen: „The way I naturally write makes Pangram think I’m using AI, and it gives my work an 85–100% AI rate.“ Zusätzlich weisen Lehrende wie Solivaga in r/Professors auf Datenschutzprobleme hin, da das Hochladen studentischer Arbeiten auf externe Plattformen oft unzulässig ist – ein Dilemma, das die versprochene 38-fach niedrigere Fehlerrate in der Praxis kaum einlösen kann.