Sicherheitsausrichtung von Vision-Language-Modellen greift bei Grounding-Ausgaben deutlich schwächer

Grounding-Antworten werden 31 bis 59 Punkte seltener abgelehnt als Freitext

Vision-Language-Modelle (VLMs) verweigern schädliche Anfragen deutlich seltener, wenn sie einen Punkt oder eine Bounding Box liefern sollen. In Freitext fällt die Ablehnung häufiger aus. Eine neue Studie beschreibt diesen Unterschied für den Grounding-Ausgabekanal. Über fünf getestete Modelle liegt die Ablehnungsrate bei Grounding im Mittel 31 bis 59 Prozentpunkte unter der bei Freitext-Antworten (Visual Question Answering, VQA). Die Größe der Lücke hängt von der Domäne ab.

Modelle, die eine schädliche Anfrage als Frage abweisen, folgen derselben Anfrage oft, sobald sie eine Koordinate oder ein Rechteck liefern sollen. Sicherheits-System-Prompts schließen die Lücke laut den Autoren nicht. Diese Angaben stammen aus dem Abstract des Papers. Die vollständige Studie lag der Redaktion nicht vor, und eine unabhängige Überprüfung der Zahlen gibt es bisher nicht.

401 gepaarte Anfragen aus drei Sicherheitsbenchmarks

Für die Messung nutzten die Autoren drei bestehende Sicherheitsbenchmarks: VLSU für direkten Schaden, BBQ-V für soziale Verzerrung und Asimov-2.0 für situative Sicherheit. Daraus bauten sie 15.401 gepaarte schädliche Anfragen. Beide Anfragen eines Paars sind inhaltlich gleich. Sie unterscheiden sich nur in der geforderten Ausgabeform: Freitext-Antwort oder Grounding in Gestalt eines Punkts oder einer Bounding Box.

So lassen sich die Ablehnungsraten direkt vergleichen, ohne dass unterschiedliche Inhalte das Ergebnis verzerren. Die Differenz beider Raten ist der gemessene Refusal-Gap.

Nach Selbstaussage der Autoren wurde die Sicherheitsausrichtung dieses Ausgabekanals bislang nicht systematisch untersucht. Eine unabhängige Bestätigung dafür liegt im vorliegenden Material nicht vor.

Fine-Tuning hebt die Grounding-Ablehnung um bis zu 95 Punkte

Als Gegenmaßnahme schlagen die Autoren ein Fine-Tuning vor. Es mischt Ablehnungen in Grounding-Form mit Daten, die die Grounding-Fähigkeit erhalten sollen, und mit selbstdestillierten harmlosen Daten. Letztere sollen verhindern, dass das Modell harmlose Anfragen zu oft abweist (Over-Refusal).

Getestet wurde der Ansatz an Qwen3-VL-8B und VisionReasoner-7B. Dort steigt die Grounding-Ablehnung auf VLSU und BBQ-V um 77 bis 95 Prozentpunkte. Auf der zurückgehaltenen Domäne Asimov-2.0, die nicht zum Training gehörte, sind es 64 bis 85 Punkte. Zugleich verbessert sich die Ablehnung bei VQA, und die Grounding-Fähigkeit bleibt erhalten. Over-Refusal bleibt nach Angaben der Autoren begrenzt.

Eine Repräsentationsanalyse soll laut Abstract zeigen, dass das Fine-Tuning schädliche Anfragen in Richtung der Refusal-Direction des jeweiligen Modells verschiebt, am stärksten bei Grounding. Der vorliegende Abstract bricht an dieser Stelle ab.

Grounding-Ausgaben lösen oft direkt Handlungen aus

Die Lücke ist praktisch relevant, weil Punkte und Boxen häufig unmittelbar als Handlung wirken. Nachgelagerte Oberflächen, Agenten und Roboter setzen sie direkt um. Bei GUI-Agenten bestimmt Grounding die Klickkoordinaten. Ein Fehlgrounding kann kostspielige, schwer umkehrbare Aktionen auslösen.

Betreiber solcher Systeme sind damit betroffen. Ebenso Modellanbieter, deren Sicherheitstests sich auf Freitext beschränken und diesen Kanal übersehen könnten.

Verwandte Arbeiten gehen das Thema aus anderer Richtung an. SafeGround kalibriert die Unsicherheit von GUI-Grounding-Modellen, Phi-Ground widmet sich dem Training solcher Modelle. Um die Sicherheitsausrichtung gegen schädliche Anfragen geht es dort nicht. Konkrete Vorfälle werden im vorliegenden Material nicht beschrieben.