Pangram 4: Neues Modell, unabhängige Tests und offene Fragen

Pangram 4: Neues Modell und unabhängige Bestätigung

Pangram Labs stellt Pangram 4 vor, das nach Herstellerangaben vollständig KI-generierte, gemischte und KI-unterstützte Texte unterscheiden und feinere Segmentgrenzen liefern soll. Das Unternehmen hat nach eigenen Angaben 9 Millionen Dollar erhalten und kooperiert mit Substack. Unabhängige Studien stützen den Anspruch: Eine peer-reviewte Studie der Vrije Universiteit Brussel (Juni 2026) testete Pangram, GPTZero, Turnitin und Copyleaks an 160 wissenschaftlichen Arbeiten; Pangram war das einzige Tool mit zufriedenstellenden Ergebnissen. Ein Working Paper der University of Chicago Booth School platzierte Pangram vor Turnitin, GPTZero und Copyleaks. Damit wird Pangram 4 von mehreren unabhängigen Studien als führend bewertet.

Benchmarks: Pangram 4 im Zahlenvergleich

Laut technischem Report (Herstellerangabe) erreicht Pangram 4 einen AUROC von 0,9916. AUROC (Area Under the Receiver Operating Characteristic) misst die Fähigkeit des Modells, zwischen KI- und Menschentexten zu unterscheiden; ein Wert nahe 1 bedeutet eine sehr hohe Trennschärfe, 0,5 wäre Zufall. Die Falsch-Positiv-Rate liegt bei 0,0041 Prozent. Die Falsch-Negativ-Rate beträgt 0,3396 Prozent. Das Modell ist transformerbasiert; DetectArena beschreibt es als feinabgestimmtes RoBERTa-large-Modell. Im Vergleich zu DetectGPT und führenden kommerziellen Tools gibt Pangram über 38-mal niedrigere Fehlerraten auf einem Benchmark aus 10 Textdomänen (z. B. studentische Arbeiten, Nachrichten, E-Mails) und 8 Sprachmodellen an (Herstellerangabe). Diese niedrigeren Fehlerraten bedeuten für Anwender weniger falsche Verdächtigungen und eine zuverlässigere Erkennung von KI-Texten. Die Kosten liegen bei 0,050 US-Dollar pro 1.000 Wörter, GPTZero verlangt 0,150 US-Dollar.

Unabhängige Tests: Pangram vor GPTZero, Turnitin und Copyleaks

Die VUB-Studie testete vier Detektoren an 160 wissenschaftlichen Arbeiten mit über 4.000 Wörtern. Die Forscher bewerteten die Ergebnisse anhand von Genauigkeit und Fehlerraten; Pangram erzielte als einziges Tool zufriedenstellende Ergebnisse, das heißt es hielt die von den Forschern gesetzten Mindestanforderungen für Falsch-Positive und Falsch-Negative ein. Das Chicago-Booth-Working-Paper platzierte Pangram vor Turnitin, GPTZero und Copyleaks. In 74 blinden Head-to-Head-Vergleichen auf DetectArena, bei denen Nutzer die Ergebnisse beider Tools ohne Kenntnis der Anbieter bewerteten, gewann Pangram 44-mal, GPTZero 20-mal, 10 endeten unentschieden. Die Führungsposition stützt sich auf die niedrigeren Fehlerraten in der VUB-Studie, die Platzierung im Chicago-Booth-Paper und die Mehrheit der Siege in den blinden Vergleichen.

Widersprüche: GPTZero kontert, FPR-Diskrepanz bleibt

Der GPTZero-eigene Benchmark widerspricht: GPTZero führt bei Gesamtgenauigkeit und Recall, Pangram v3.2 verbessert sich zwar, bleibt aber zurück. Dieser Widerspruch ist teilweise darauf zurückzuführen, dass GPTZero eine ältere Pangram-Version (v3.2) testet, während die unabhängigen Studien Pangram 4 bewerten; zudem verwenden die Benchmarks unterschiedliche Testdatensätze und Messmethoden. Zudem klafft eine Diskrepanz bei der Falsch-Positiv-Rate: Der Pangram-4-Report nennt 0,0041 Prozent, während die Pangram-Website und andere Quellen 1 zu 10.000 angeben. Mögliche Ursachen sind unterschiedliche Modellversionen, Messzeitpunkte oder Rundungen. Für Nutzer bedeutet das, dass sie sich nicht auf eine einzelne Zahl verlassen sollten, sondern die Leistung auf ihren eigenen Textarten prüfen müssen.

Was der Goldstandard-Anspruch für Anwender bedeutet

Der Goldstandard-Anspruch von Pangram beruht auf der wiederholten unabhängigen Validierung: Die VUB-Studie und das Chicago-Booth-Paper bestätigen die Leistung, was Pangram zu einem Branchen-Benchmark macht. Für Bildungseinrichtungen, Verlage und Plattformen bedeutet das, dass sie Pangram als Referenz für die Bewertung anderer Detektoren nutzen können. Pangram hat alle 19.000 ICLR-Papers und 70.000 Reviews analysiert und die Ergebnisse auf iclr.pangram.com veröffentlicht (Herstellerangabe). Das Tool unterstützt nach Herstellerangaben über 20 Sprachen und erkennt KI-Inhalte aller großen Sprachmodelle. Mehrsprachigkeit ist entscheidend für internationale Universitäten, globale Content-Plattformen und Verlage, die Einreichungen in verschiedenen Sprachen prüfen müssen. Mit 0,050 US-Dollar pro 1.000 Wörter ist es günstiger als GPTZero. Trotz des Goldstandard-Anspruchs mahnen die offenen Widersprüche zur Vorsicht bei automatisierten Entscheidungen.