Neuer Telugu-Spoken-QA-Benchmark VākQA veröffentlicht

VākQA: 2.001 Telugu-Fragen, 2,53 Stunden Audio, sechs Domänen öffentlich verfügbar

Forschende haben mit VākQA einen Benchmark für gesprochenes Faktenfragen-Beantworten auf Telugu veröffentlicht. Das Dataset umfasst 2.001 Faktenfrage-Antwort-Paare aus sechs Domänen sowie 2,53 Stunden Sprachaudio. Zu jeder Frage liegen zweisprachige Transkriptionen vor, und die Referenzantworten sind menschlich verifiziert. VākQA ist öffentlich zugänglich. Damit schließt das Team eine Lücke: Für Telugu gab es bislang keinen Benchmark für gesprochene Fragebeantwortung, und die Zuverlässigkeit automatischer Bewertungsverfahren in diesem Setting war nicht quantifiziert. Die Veröffentlichung erlaubt es, Modelle hinsichtlich Eingabemodalität, Sprache und Domäne zu vergleichen.

Gemini-as-a-judge korreliert am besten, Open-weight-Richter bestrafen korrekte Telugu-Antworten

Die Autorinnen und Autoren validieren zunächst die Evaluationsmethoden gegen menschliche Urteile. Dabei korreliert Gemini-as-a-judge am besten mit den menschlichen Bewertungen, ist jedoch nicht gleichmäßig streng: In manchen Fällen bewertet das Modell strenger oder nachsichtiger als menschliche Prüfer. Open-weight-Richter bestrafen dagegen systematisch korrekte Telugu-Antworten, die in der Oberflächenform von der Referenz abweichen. Das bedeutet: Eine inhaltlich richtige Antwort wird allein wegen anderer Formulierung oder Wortwahl als falsch gewertet. Diese Befunde zeigen, dass die Wahl des automatischen Richters das Benchmark-Ergebnis verzerren kann und eine Validierung gegen menschliche Urteile notwendig ist.

Spracheingabe erzeugt phonetische Verwechslungen, ASR-MT-Fehler verstärken sich progressiv

Die Studie identifiziert zudem sprach- und übersetzungsbedingte Fehlerquellen. Spracheingabe führt zu phonetischen Verwechslungen, die die Bedeutung der Frage verändern. Typische Ursachen sind ähnlich klingende Konsonanten – etwa retroflexe versus dentale Laute im Telugu – oder Unterschiede in Vokallänge und Tonhöhe, die in der Spracherkennung leicht verwechselt werden. Dadurch kann aus einer Frage nach einem bestimmten Ort eine Frage nach einem anderen Begriff werden, was die semantische Interpretation verschiebt. Kaskadierte Fehler aus automatischer Spracherkennung (ASR) und maschineller Übersetzung (MT) verstärken sich progressiv: Ein erster Erkennungsfehler erzeugt ein falsches Transkript, das die MT anschließend fehlerhaft übersetzt; weitere Verarbeitungsschritte wie die Antwortextraktion übernehmen diesen doppelt verzerrten Text, sodass sich Abweichungen mit jeder Stufe vergrößern. Telugu-Formulierungen behalten zudem kulturelle Spezifität, die in der Übersetzung verloren geht – etwa idiomatische Ausdrücke, lokale Konzepte oder kulturell geprägte Referenzen, für die maschinelle Übersetzung oft keine adäquate Entsprechung findet und sie wörtlich oder gar nicht überträgt. Dadurch unterschätzen Modelle, die auf übersetzte Eingaben angewiesen sind, möglicherweise die tatsächliche Leistung bei Telugu-Sprachfragen.