Nur 17 bis 41 Prozent ausgewogene Antworten: Aleph Alpha testet chinesische LLMs

Nur 17 bis 41 Prozent ausgewogene Antworten: Aleph Alpha testet chinesische LLMs

Für die Studie „Training on the Party Line: Chinese Political Influence on LLMs in China and the World“ hat Aleph Alpha einen eigenen Benchmark mit 967 handverlesenen politisch sensiblen Prompts erstellt. Getestet wurden sechs Open-Weight-Modelle chinesischer Anbieter, darunter Alibaba Qwen, DeepSeek und Moonshot AI Kimi. Ein KI-gestütztes Bewertungssystem von Aleph Alpha klassifizierte jede Antwort als ausgewogen oder als problematisch – letzteres, wenn sie Staatsdoktrin wiederholte, vom Thema ablenkte oder die Antwort verweigerte. Das Ergebnis: Nur 17 bis 41 Prozent der Antworten fielen ausgewogen aus. Der Grund liegt in der starken Ausrichtung der Modelle auf chinesische Regierungspositionen: Chinas KI-Regulierung schreibt „sozialistische Kernwerte“ für öffentliche Modelle vor. Um diese Vorgaben zu erfüllen, werden die Modelle während des Trainings und der Feinabstimmung darauf optimiert, Inhalte zu vermeiden, die den offiziellen Positionen widersprechen. Dadurch lernen sie, bei sensiblen Themen entweder die Staatsdoktrin zu wiederholen, auszuweichen oder die Antwort zu verweigern – was die niedrigen Anteile ausgewogener Antworten erklärt. Die Pro-China-Haltung zeigt sich sogar bei Fragen ohne China-Bezug: Auf die Frage nach Zensur in den USA antwortet Qwen 3.6 zunächst ausgewogen, endet aber mit einem Plädoyer für Chinas Informationsmanagement.

NVIDIA Nemotron Cascade 2: 17 Prozent auffällig, CCP-Talkingpoints in SFT-Daten

Auch NVIDIAs Nemotron Cascade 2 fiel im Test auf: Bei 17 Prozent der Prompts zeigte das Modell auffälliges Verhalten. Aleph Alpha analysierte die veröffentlichten SFT-Daten (Supervised Fine-Tuning) des Modells und stellte fest, dass sie größtenteils mit DeepSeek und Qwen erzeugt wurden. In diesen Daten identifizierte das Unternehmen eine kleine Anzahl von Chat-Zeilen, die Talkingpoints der Kommunistischen Partei Chinas (CCP) enthielten. Beim Supervised Fine-Tuning wird das Modell darauf trainiert, die Antworten aus den Trainingsdaten möglichst genau nachzuahmen. Enthalten diese Daten CCP-Talkingpoints, lernt das Modell, diese Positionen als korrekte Antworten zu übernehmen und bei entsprechenden Prompts zu reproduzieren. Das erklärt die beobachteten Abweichungen bei sensiblen Themen.

Aleph Alpha empfiehlt Screening, Alignment und Evaluation für souveräne Modelle

Aus den Ergebnissen leitet Aleph Alpha ab, dass souveräne Modelle drei Dinge benötigen: Erstens ein Screening der Trainingsdaten auf chinesische politische Inhalte, um CCP-Talkingpoints frühzeitig zu entfernen. Zweitens gezielte Alignment-Daten, die das gewünschte Verhalten – etwa ausgewogene Antworten auf politische Fragen – explizit festlegen. Drittens eine Evaluation anhand von Benchmarks wie dem in der Studie vorgestellten, um die Wirksamkeit der Maßnahmen zu überprüfen. Das Screening entfernt verunreinigte Daten, bevor sie in den Trainingsprozess gelangen, und verhindert so, dass das Modell CCP-Positionen überhaupt lernt. Gezielte Alignment-Daten liefern dem Modell explizite Beispiele für gewünschtes Verhalten und überschreiben damit unerwünschte Muster aus dem Vortraining. Die Evaluation anhand solcher Benchmarks misst, ob die Maßnahmen wirken, und deckt verbleibende Schwächen auf, sodass iterativ nachgebessert werden kann. Aleph Alpha gibt an, diese Maßnahmen im eigenen Unternehmen übernommen zu haben (Herstellerangabe).

Auch westliche Modelle nicht immun: Fortune verweist auf Nature-Studie und Meta Oversight Board

Laut Fortune gibt es eine peer-reviewte Studie in Nature, die analysierte, dass chinesische staatskontrollierte Medien in KI-Trainingsdaten gelangen und Antworten über China beeinflussen können. Die Forscher warnten, dass solche Einflüsse „von Regierungen manipulierte Inhalte in scheinbar objektiven Text waschen“. Das Meta Oversight Board testete Modelle von Anthropic, OpenAI, Google und Meta und stellte fest, dass sie Anfragen zur Kritik an Regierungen in Ländern mit eingeschränkter Meinungsfreiheit mehr als doppelt so häufig ablehnten als in freieren Ländern. Das zeigt: Auch westliche Modelle sind nicht immun gegen solche Verzerrungen.