KI SpotlightNewsLLM-generierte Texte weichen in psychologischer Panelstudie von realen Daten ab
Studie findet thematische Unterschiede und begrenzte Korrelation mit psychologischen Variablen
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Die Studie verwendete ein LLM, das mit Texten aus drei Wellen eines longitudinalen Paneldatensatzes gepromptet wurde, um einen Text für Welle 4 zu generieren.
- Die generierten Texte wurden mit den tatsächlichen Texten (Ground Truth) mittels Kosinus-Ähnlichkeit auf Embeddings verglichen.
- Es wurde getestet, ob die Textähnlichkeit mit psychologischen Variablen assoziiert ist.
- Die Studie fand nur begrenzte Evidenz für eine solche Assoziation.
- Es wurden Unterschiede in den Themen zwischen generierten und tatsächlichen Texten festgestellt.
- Die Erklärung für die Unterschiede in den Textähnlichkeiten ist Gegenstand laufender Untersuchungen.
LLM-generierte Texte weichen in psychologischer Panelstudie von realen Daten ab
Von einem Large Language Model (LLM) erzeugte Texte unterscheiden sich in einem psychologischen Längsschnittdatensatz thematisch von echten Teilnehmertexten und korrelieren nur begrenzt mit psychologischen Variablen. Das ist das Ergebnis einer Studie von Jari Zegers und Bennett Kleinberg aus dem Jahr 2025, die erstmals empirisch die Vergleichbarkeit von LLM-generierten und realen Texten in einem longitudinalen Paneldesign untersuchte. Die Forscher prüften, ob ein LLM in der Lage ist, auf Basis von drei Erhebungswellen eine vierte Welle so zu simulieren, dass die generierten Texte den tatsächlichen ähneln und mit psychologischen Merkmalen der Teilnehmer zusammenhängen. Dabei stellten sie thematische Unterschiede fest: Die vom LLM produzierten Texte wichen in den behandelten Themen von den echten Antworten ab. Zudem fanden die Autoren nur begrenzte Evidenz dafür, dass die Ähnlichkeit zwischen generierten und echten Texten mit psychologischen Variablen assoziiert ist. Die Ergebnisse werfen Fragen zur Eignung von LLMs für die Simulation von Probanden in der psychologischen Forschung auf.
Methodik: Prompting mit drei Wellen, Vergleich mittels Kosinus-Ähnlichkeit
Für die Untersuchung nutzten Zegers und Kleinberg einen longitudinalen Paneldatensatz mit Texten aus drei Erhebungswellen. Das LLM wurde mit diesen Texten gepromptet, um für eine vierte Welle eine Antwort zu generieren. Die so erzeugten Texte verglichen die Forscher mit den tatsächlichen, von Teilnehmern stammenden Texten (Ground Truth) mittels Kosinus-Ähnlichkeit auf Basis von Text-Embeddings. Dieser Ansatz erlaubt eine quantitative Bewertung der semantischen Nähe zwischen generierten und echten Antworten. Zusätzlich wurde geprüft, ob die ermittelte Ähnlichkeit mit psychologischen Variablen der Teilnehmer zusammenhängt – etwa um zu testen, ob das LLM individuelle Merkmale aus den vorherigen Wellen aufgreift und in der generierten Antwort widerspiegelt.
Geringe Assoziation mit psychologischen Variablen – Ursachenforschung läuft
Die Studie fand nur begrenzte Evidenz für einen Zusammenhang zwischen der Textähnlichkeit und psychologischen Variablen. Das bedeutet, dass die vom LLM generierten Texte die individuellen psychologischen Profile der Teilnehmer nicht zuverlässig abbildeten. Zugleich traten deutliche thematische Unterschiede auf: Die generierten Texte behandelten andere Themen als die echten Antworten. Worauf diese Abweichungen zurückzuführen sind, ist noch nicht geklärt. Die Autoren betonen, dass die Erklärung für die Unterschiede in den Textähnlichkeiten Gegenstand laufender Untersuchungen bleibt. Offen ist etwa, ob das LLM generische Muster reproduziert oder spezifische Aspekte des Promptings die thematische Verschiebung begünstigen.
