SynthID-Text verändert Verhalten von KI-Agenten: Watermarking beeinflusst Tool-Aufrufe und Verweigerungen

Watermarking verändert Tool-Aufrufe und Verweigerungen bei Gemini-Agenten

Googles statistisches Text-Watermarking SynthID-Text, das in Gemini eingesetzt wird, beeinflusst einer Untersuchung von Lasso Security zufolge nicht nur die Kennzeichnung generierter Texte, sondern auch das Verhalten von KI-Agenten. Die am 17. September veröffentlichte Analyse beschreibt einen sogenannten Sampling-Drift: Durch den als Logits-Prozessor implementierten Watermarking-Mechanismus verändert sich die Wahrscheinlichkeitsverteilung für das nächste Token. Bei Tool-nutzenden Agenten kann das zu anderen Funktionsaufrufen, fehlerhaften JSON-Argumenten oder geänderten Verweigerungsentscheidungen führen. Lasso Security berichtet von Unterschieden im Tool-Handling und bei Modell-Ablehnungen, die auf das Watermarking zurückgehen. Für menschliche Leser ist der Unterschied zwischen „overcast“ und „gray“ unerheblich, für einen Agenten kann die abweichende Token-Auswahl jedoch kaskadierende Folgen haben. Google beschreibt SynthID-Text als Logits-Prozessor, der während der Generierung plausible Wortwahlen in einem pseudozufälligen Muster verschiebt, das später mit dem passenden Schlüssel erkannt werden kann. Die Untersuchung von Lasso Security unterstreicht, dass Watermarking damit über die reine Provenienzkennzeichnung hinausgeht und direkte Auswirkungen auf die Funktionsweise von KI-Systemen hat. Die Studie testete nicht direkt das von Anthropic eingesetzte Claude-Watermarking, sondern konzentrierte sich auf Googles Implementierung.

Wie SynthID-Text die Wortwahl statistisch verschiebt

SynthID-Text ist ein statistisches Watermarking, das die Wahrscheinlichkeitsverteilung für das nächste Token bei der Generierung verändert. Anders als eine nachträglich angehängte Kennzeichnung greift es direkt in den Erzeugungsprozess ein: Ein Logits-Prozessor verschiebt die Logits – die Rohwerte vor der Token-Auswahl – in einem pseudozufälligen Muster. Dadurch werden bestimmte, ansonsten plausible Wortwahlen leicht bevorzugt oder benachteiligt, ohne dass der Text für Menschen erkennbar verändert wirkt. Das Muster lässt sich später mit dem passenden Schlüssel nachweisen. Diese Verschiebung ist die Grundlage für den von Lasso Security beobachteten Sampling-Drift: Kleine Unterschiede in der Token-Auswahl können sich bei Agenten auf nachgelagerte Entscheidungen auswirken, etwa auf die Wahl eines Funktionsnamens oder die Struktur eines JSON-Arguments. Die technische Umsetzung basiert auf einem Tournament-Sampling-Verfahren und einer Score-Funktion zur Erkennung, die sowohl verzerrende als auch nicht-verzerrende Watermarking-Methoden unterstützt.

Robustheitsdebatte: State-of-the-art oder forensisch unzuverlässig?

Zur Robustheit von SynthID-Text liegen widersprüchliche Ergebnisse vor. Eine theoretische Analyse bescheinigt dem System eine State-of-the-art-Erkennbarkeit und Robustheit. Sie zeigt jedoch auch, dass der Mean-Score anfällig für Layer-Inflation-Angriffe ist, während der Bayesian-Score robuster gegenüber zusätzlichen Tournament-Layern ist; der optimale Bernoulli-Parameter liegt bei 0,5. Eine andere empirische Studie kommt zu einem deutlich kritischeren Befund: Sie ermittelt eine False-Negative-Rate von 80 Prozent vor jeglichem Angriff und einen fast vollständigen Verlust des Watermarks bei Paraphrasierung – 98,3 Prozent der zunächst erkannten SynthID-Texte verloren das Signal. Zudem wurden 5,4 Prozent menschlicher Kontrolltexte fälschlich als KI-generiert markiert. Die Diskrepanz lässt sich auf unterschiedliche Testbedingungen zurückführen: Die kritische Studie verwendet die MarkLLM-Implementierung von SynthID-Text, nicht zwingend die exakte Google-Implementierung, und bewertet forensische Zuverlässigkeit anhand von Paraphrasierungsangriffen, während die theoretische Analyse primär die Erkennbarkeit unter idealisierten Bedingungen betrachtet.

Regulatorischer Druck: EU AI Act verlangt maschinenlesbare Kennzeichnung

Die Befunde von Lasso Security erscheinen wenige Wochen nach Inkrafttreten der Transparenzpflichten des EU AI Act am 2. August 2026. Artikel 50 verlangt, dass Anbieter von Systemen, die synthetische Inhalte erzeugen, diese Inhalte maschinenlesbar und als künstlich erzeugt oder manipuliert erkennbar machen – vorbehaltlich technischer Machbarkeit und festgelegter Ausnahmen. Das Gesetz schreibt jedoch keine einheitliche Implementierung vor und verlangt nicht ausdrücklich ein Token-basiertes Text-Watermarking. Anbieter wie Google setzen dennoch auf SynthID-Text, um den regulatorischen Anforderungen an Provenienz und Erkennbarkeit zu entsprechen. Die Debatte um die tatsächliche Zuverlässigkeit solcher Verfahren erhält damit eine unmittelbare regulatorische Relevanz.

OpenAI setzt auf SynthID für Audio – mit Verifikationstool

OpenAI verwendet seit dem 31. Juli 2026 SynthID-Watermarks für Audioinhalte, die mit unterstützten OpenAI-Tools erzeugt werden – einschließlich ChatGPT und der OpenAI API. Das Unternehmen bietet ein öffentliches Verifikationstool an, mit dem sich unterstützte Audiodateien auf das Watermark prüfen lassen, und stellt zusätzlich einen API-Zugang für die Verifikation bereit, damit Entwickler Provenienzprüfungen in eigene Workflows integrieren können. SynthID bettet dabei ein unsichtbares Signal direkt in die generierten Medien ein, das im Gegensatz zu Metadaten Teil des Inhalts selbst ist und teilweise Bearbeitungen oder Transformationen übersteht. Ergänzend setzt OpenAI auf den offenen C2PA-Standard für Metadaten, um die Herkunft von Inhalten nachvollziehbar zu machen.

Folgen für Entwickler und Nutzer von KI-Agenten

Der von Lasso Security beschriebene Sampling-Drift hat praktische Konsequenzen für Entwickler und Endnutzer von KI-Agenten. Da bereits minimale Verschiebungen in der Token-Auswahl zu anderen Funktionsnamen, fehlerhaften JSON-Argumenten oder geänderten Verweigerungsentscheidungen führen können, müssen Agenten-Entwickler ihre Systeme auf solche Abweichungen testen und gegebenenfalls anpassen. Unvorhersehbare Tool-Aufrufe können zu Fehlfunktionen oder inkonsistentem Verhalten führen, was die Zuverlässigkeit automatisierter Workflows beeinträchtigt. Auch mögliche Fehlalarme bei der Watermark-Erkennung – etwa die fälschliche Markierung menschlicher Texte als KI-generiert – sind für Anwendungen relevant, die auf Provenienzsignale angewiesen sind. Die Ergebnisse legen nahe, dass Watermarking nicht als neutraler Zusatz betrachtet werden kann, sondern als Faktor, der die operative Leistung von KI-Agenten mitbestimmt.