KI SpotlightNewsSprachmodelle verwechseln österreichische und deutsche Hochschulterminologie, auch mit verfeinerten Prompts
Laut Abstract einer JLCL-Studie erfinden ChatGPT, Perplexity und Microsoft CoPilot Fachbegriffe und liefern bei identischen Prompts schwankende Ergebnisse. Die Autor:innen fordern eine menschliche Fachprüfung.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Die Studie „Large language models for terminology work: A question of the right prompt?“ erschien 2025 im JLCL, Band 38.
- Untersucht werden ChatGPT, Perplexity und Microsoft CoPilot bei Terminologiearbeit im österreichischen und britischen Hochschulsystem.
- Die LLM-Ausgaben scheiterten trotz Prompt-Verfeinerung daran, österreichisches und deutsches System zuverlässig zu unterscheiden, und enthielten erfundene Begriffe.
- Erschwerend wirken deutschsprachige Trainingsdaten, mögliche Pivot-Übersetzung über das Englische und intransparentes LLM-Training.
- Die Autor:innen fordern menschliche Expertise zur Bewertung und eine aufgabenbezogene Prüfung der LLM-Eignung statt pauschalem Einsatz.
Verfeinerte Prompts verhindern die Verwechslung nicht
ChatGPT, Perplexity und Microsoft CoPilot unterscheiden bei Terminologiearbeit nicht zuverlässig zwischen dem österreichischen und dem deutschen Hochschulsystem. Auch verfeinerte Prompts ändern daran nichts. Das berichten die Autor:innen der Studie „Large language models for terminology work: A question of the right prompt?“. Sie erschien im Journal for Language Technology and Computational Linguistics (JLCL), Band 38, 2025 (DOI 10.21248/jlcl.38.2025.280). Das Abstract ist außerdem in der ACL Anthology gelistet.
Geprüft wurden die drei Systeme bei der Termextraktion, bei der Erstellung von Definitionen und bei der Bestimmung von Begriffsbeziehungen. Als Fachgebiet dienten das österreichische und das britische Hochschulsystem. Die Modelle wurden mit strategischen Prompting-Frameworks angesteuert. Laut Autor:innen legten die Prompts Sprachvarietät und Systemkontext fest. Die Ausgaben trennten das österreichische und das deutsche System trotzdem nicht verlässlich. Außerdem erfanden die Modelle Begriffe.
Zur Einordnung: Vorliegen soll nur das Abstract. Die Befunde sind also die Darstellung der Autor:innen. Anhand des Volltexts lassen sie sich nicht prüfen.
Schwankende Ausgaben und der Ruf nach Fachleuten
Die Ausgaben variierten laut Abstract auch bei identischen Prompts. Die Autor:innen sehen darin einen Beleg dafür, wie unberechenbar LLM-generierte Terminologie ist. Als erschwerend nennen sie die Verteilung deutschsprachiger Trainingsdaten, eine mögliche Pivot-Übersetzung über das Englische und die mangelnde Transparenz des LLM-Trainings. Diese Faktoren erschweren die Bewertung. Ob und in welchem Maß sie die Fehler tatsächlich verursachen, geht aus dem Abstract nicht hervor.
Daraus folgt für die Autor:innen: Die Ausgaben brauchen menschliche Expertise. Wer ohne Fachwissen, ohne Kenntnis der Terminologieprinzipien und ohne LLM-Kompetenz arbeitet, kann die Qualität kaum kritisch beurteilen. LLMs sollten deshalb nicht pauschal für alle Bereiche der Terminologiearbeit eingesetzt werden. Die Eignung sei für jede Aufgabe einzeln zu prüfen.
Betroffen sind nach dieser Lesart Terminolog:innen, Übersetzer:innen und Fachleute, die LLMs für varietätenspezifische Terminologie nutzen.
UniTermGPT: verwandte Arbeit zu Varietäten im Hochschuldeutsch
Eine verwandte Arbeit stammt von Barbara Heinisch vom Institute for Applied Linguistics der Eurac und der unibz. Ihr Poster „University terminology in German in the age of ChatGPT: UniTermGPT“ wurde bei der 2nd UniDive Training School on Linguistic Diversity in NLP in Eriwan präsentiert (20. bis 24. Januar 2026). Das Projekt untersucht, wie ChatGPT Hochschulterminologie aus Österreich, Deutschland, der Schweiz und Südtirol verarbeitet. Außerdem prüft es, ob Prompt Engineering die Berücksichtigung der Varietäten verbessert.
Ergebnisse des Posters liegen nicht vor. Ob der JLCL-Befund gegenüber früheren Arbeiten dieser Forschungslinie substanziell neu ist, lässt sich deshalb nicht beurteilen. Auch Angaben zu Studiendesign, Fallzahlen, Modellversionen und konkreten Beispielen fehlen.
