KI SpotlightNewsKI-Texte im Blindtest überzeugender als menschliche Werke
Leser können nicht zwischen Kurzgeschichten unterscheiden, die von einer KI oder von Menschen verfasst wurden – und sie bewerten die maschinell erstellten Texte sogar besser, solange sie glauben, ein Mensch habe sie geschrieben.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- In drei Experimenten mit insgesamt mehr als 2.500 Teilnehmern konnten Probanden nicht besser als der Zufall zwischen menschlichen und ChatGPT-generierten Kurzgeschichten unterscheiden.
- Im ersten Experiment lasen 1.682 Teilnehmer jeweils eine von sechs Kurzgeschichten mit etwa 1.000 Wörtern.
- KI-generierte Geschichten erhielten höhere Bewertungen für Qualität und Engagement, solange die Leser glaubten, sie seien von Menschen geschrieben.
- Die Studie wurde von Forschern der Villanova University (USA) geleitet und bei Cambridge University Press veröffentlicht.
- Die Teilnehmer waren zwischen 18 und 81 Jahre alt.
KI-Texte im Blindtest überzeugender als menschliche Werke
Leser können nicht zwischen Kurzgeschichten unterscheiden, die von einer KI oder von Menschen verfasst wurden – und sie bewerten die maschinell erstellten Texte sogar besser, solange sie glauben, ein Mensch habe sie geschrieben. Dies belegt eine neue Studie, die bei Cambridge University Press veröffentlicht wurde. In drei Experimenten mit insgesamt mehr als 2.500 Teilnehmern schnitten die Probanden bei der Identifikation der Urheber nicht besser ab, als es der Zufall erlauben würde. Die von ChatGPT generierten Geschichten erhielten im Durchschnitt höhere Bewertungen für Qualität und ihre Fähigkeit, die Leser zu fesseln. Dieser Vorteil kehrte sich jedoch um, sobald den Teilnehmern mitgeteilt wurde, dass eine KI den Text verfasst hatte. Die Ergebnisse zeigen, dass die wahrgenommene Urheberschaft die Bewertung maßgeblich beeinflusst.
Studiendesign: 1.682 Leser, sechs Geschichten, 1.000 Wörter
Im ersten Experiment der Studie wurden 1.682 Teilnehmer im Alter von 18 bis 81 Jahren rekrutiert. Jeder Proband las eine von sechs Kurzgeschichten mit einem Umfang von jeweils etwa 1.000 Wörtern, die teils von menschlichen Autoren stammten, teils mit ChatGPT generiert worden waren. Geleitet wurde die Untersuchung von Forschern der Villanova University (USA); die Veröffentlichung erfolgte bei Cambridge University Press.
Wenn der Detektor zum Glücksspiel wird
Die Erfahrung von Left_Past4448 in r/ChatGPT zeigt, wie absurd die Situation ist: Ein selbst verfasster Text wird zur Hälfte als KI-generiert eingestuft. DahakUK bringt es auf den Punkt: „Kein KI-Detektor ist auch nur annähernd genau.“ Und clintCamp ergänzt, dass es schlicht keine verlässlichen Merkmale gibt, um maschinellen von menschlichem Text zu unterscheiden – außer vielleicht Tippfehlern. Wenn KI-Texte im Blindtest überzeugen, dann nicht zuletzt deshalb, weil die angeblichen Erkennungswerkzeuge eher raten als analysieren.
