KI SpotlightNewsIdeaLens bewertet die Herkunft der Ideen, nicht der Prosa
Ein arXiv-Preprint stellt einen Detektor vor, der Dokumente als paraphrasierte Gliederungen analysiert. Die Ergebnisse stammen aus kontrollierten Tests, ein unabhängiger Nachtest steht aus.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- IdeaLens ist ein arXiv-Preprint (2610.06778) von Forschenden aus Maryland, DeepMind und SFU.
- IdeaLens bestimmt die Herkunft der Ideen, unabhängig davon, wer die Worte schrieb.
- Dokumente werden als Gliederungen mit paraphrasierten Inhaltsbeschreibungen dargestellt, um Wortüberlappung zu minimieren.
- Trainiert wurde auf 1 Mio. FineWeb-Dokumenten mit Silver Labels von Pangram.
- Bei Texten nach immer detaillierteren menschlichen Plänen sinkt die KI-Flag-Rate von 95 % auf 7 %.
IdeaLens prüft, woher die Ideen stammen, nicht wer die Worte schrieb
Forschende der University of Maryland, von Google DeepMind und der Simon Fraser University stellen in einem arXiv-Preprint (2610.06778) den Detektor IdeaLens vor. Das Paper „IdeaLens: Detecting AI Ideas in Long-form Writing“ stammt von Rajendhran, Choi, Russell, Namuduri, Bölöni-Turgut, Karpinska, Wieting und Iyyer. Die Schlagzeile von hyper.ai nennt nur DeepMind-Forschende. Laut Techxplore und Digital Trends stammt die Arbeit aber aus drei Institutionen.
IdeaLens soll die Herkunft der Ideen bestimmen, unabhängig davon, wer die Worte schrieb. Dazu übersetzt das System Dokumente in Gliederungen. Jeder Eintrag verbindet eine Diskursrolle mit einer kurzen, paraphrasierten Inhaltsbeschreibung. Dadurch bleibt die Wortüberlappung mit dem Original minimal. Prosa-Detektoren wie Pangram prüfen dagegen Wortwahl und Satzmuster. Ein Produkt oder Tool ist nicht belegt; bisher liegt nur der Preprint vor.
Bei menschlichen Plänen fällt die KI-Quote von 95 auf 7 Prozent, Pangram bleibt bei 92
Nach Angaben der Autoren sinkt in einer kontrollierten Studie die KI-Flag-Rate von IdeaLens von 95 auf 7 Prozent, wenn Modelle nach immer detaillierteren menschlichen Plänen schreiben. Pangram 4 markiert dieselben Texte weiterhin zu 92 Prozent. Bei Texten aus KI-abgeleiteten Plänen bleibt IdeaLens über 96 Prozent. Bei 50 Geschichten, die Menschen nach KI-Plänen schrieben, stuft IdeaLens 68 Prozent als KI ein. Pangram 4 kommt nur auf 8 Prozent.
Das Team testete IdeaLens außerdem auf 19 bestehenden Benchmarks und berichtet starke Erkennungsraten bei niedrigen Falsch-positiv-Raten. Hinzu kommt eine Analyse von 90K Vorhersagen.
Digital Trends nennt unter Berufung auf das Paper weitere Werte. Bei Dokumenten aus einer einzigen Quelle erkennt IdeaLens 91 Prozent der KI-Texte. Menschliche Texte stuft es zu 0,6 Prozent fälschlich als KI ein. Das liege laut Bericht noch hinter Pangram. Bei geringfügigen KI-Edits gelten 95 Prozent der menschlichen Dokumente als menschlich, bei Pangram im Schnitt 44 Prozent.
Trainingslabels stammen von Pangram, Garg warnt vor Einzelfallurteilen
Trainiert wurde auf einer Million FineWeb-Dokumenten, mit Silver Labels von Pangram. Direkte Aufzeichnungen darüber, wer die Ideen hatte, gibt es nicht. Die Labels sind daher Detektor-Proxys. Die Autoren schreiben, die Leistung gelte über Domänen, Formate und Sprachen hinweg. Wichtige Ergebnisse stammen jedoch aus kontrollierten Tests. Eine Evaluation auf wissenschaftlichen Manuskripten ist nicht belegt.
Nikhil Garg von Cornell Tech warnt ausdrücklich davor, IdeaLens zur Beurteilung individueller Autorenschaft einzusetzen. Der Detektor erfasse Muster in Argumentgliederungen. Diese könnten je nach Fach variieren oder außerhalb der Trainingsdaten liegen. Die Wertung von hyper.ai, IdeaLens übertreffe traditionelle Systeme „drastisch“, deckt das Material nicht. Ein unabhängiger Nachtest steht aus.
