Nur spezifische, handlungsorientierte Zusammenfassungen verbessern LLM-Post-Editing

Nur spezifische, handlungsorientierte Zusammenfassungen helfen beim Post-Editing

Beim Post-Editing maschineller Übersetzungen mit großen Sprachmodellen (LLMs) entscheidet nicht die bloße Hinzufügung von Dokumentkontext über den Nutzen, sondern die Spezifität und Handlungsorientierung der bereitgestellten Zusammenfassung. Das zeigt eine neue Studie, die dokumentenweite, vorab generierte Zusammenfassungen als zusätzlichen Kontext für das Post-Editing testet. Während Zusammenfassungen des Modells gemini-2.5-flash-lite, die direktiv und domänenspezifisch formuliert sind, die Editierdistanz verbessern und moderate Zuwächse bei der Metrik COMET erzielen, verschlechtern Zusammenfassungen von GPT-4o, die eher generisch und deskriptiv ausfallen, die Leistung über die meisten Metriken hinweg. Die Editierdistanz misst, wie viele Änderungen (Einfügungen, Löschungen, Ersetzungen) nötig sind, um die maschinelle Übersetzung in die endgültige post-editierte Fassung zu überführen; eine geringere Editierdistanz bedeutet weniger Nachbearbeitungsaufwand. COMET ist eine neuronale Metrik, die die Qualität einer Übersetzung anhand menschlicher Urteile vorhersagt; ein höherer COMET-Wert signalisiert eine bessere sprachliche und inhaltliche Qualität. Der Grund für den Unterschied: Spezifische Hinweise zu Terminologie, Domänenkonventionen und Stil geben dem Post-Editor konkrete Anhaltspunkte, während generische Beschreibungen keinen Mehrwert liefern oder sogar irreführen können. Damit ist nicht die Menge an Kontext entscheidend, sondern dessen inhaltliche Qualität.

Studiendesign: Neun LLMs, zwei kontrastierende Modelle, 448 Dokumente

Für die Studie wurde ein eigens entwickelter Summarization-Prompt über neun LLMs von OpenAI und Google evaluiert. Aus diesen neun Modellen wählten die Forschenden zwei mit kontrastierenden Zusammenfassungsstilen für die Downstream-Experimente aus: gemini-2.5-flash-lite und GPT-4o. Der verwendete Datensatz umfasst 448 Dokumente, 37 Ziel-Locales und 13 Inhaltsdomänen. Die Auswahl zweier Modelle mit unterschiedlichen Stilen erlaubt es, den Einfluss der Zusammenfassungsart isoliert zu betrachten: Während das eine Modell zu direktiven, domänenspezifischen Formulierungen neigt, produziert das andere eher generische, deskriptive Texte. So lässt sich prüfen, ob der beobachtete Effekt auf den Stil der Zusammenfassung zurückgeht und nicht auf andere Modellunterschiede.

Stärkster Effekt in terminologiedichten Domänen und ressourcenärmeren Sprachen

Der positive Effekt der spezifischen Zusammenfassungen ist nicht gleichmäßig verteilt. Am stärksten zeigt er sich in terminologiedichten Domänen und bei Locales mit geringeren Ressourcen. Terminologiedichte Domänen sind Fachgebiete mit hoher Dichte an Fachbegriffen, etwa Recht, Medizin oder Technik, in denen präzise Terminologie entscheidend ist. Ressourcenärmere Locales zeichnen sich durch eine geringere Verfügbarkeit sprachlicher Ressourcen aus, beispielsweise weniger Trainingsdaten für maschinelle Übersetzung oder weniger entwickelte NLP-Werkzeuge für die jeweilige Sprachvariante. In solchen Fällen profitieren Post-Editoren besonders von konkreten Vorgaben, weil Fachterminologie und seltene Sprachpaare weniger Spielraum für Interpretation lassen. Die qualitative Analyse der Studie bestätigt: Verbesserungen treten auf, wenn Zusammenfassungen spezifische, umsetzbare Hinweise zu Terminologie, Domänenkonventionen und Stil liefern. Leistungsabfälle entstehen dagegen, wenn Zusammenfassungen unterspezifiziert oder widersprüchlich sind. Das erklärt, warum generische Zusammenfassungen schaden können: Sie liefern keine klaren Handlungsanweisungen und können im schlimmsten Fall widersprüchliche Signale senden, die den Post-Editor verunsichern. Für die Praxis bedeutet das, dass dokumentenweite Zusammenfassungen nur dann einen Mehrwert bieten, wenn sie gezielt auf die Anforderungen der jeweiligen Domäne und Zielsprache zugeschnitten sind.