KoNA: Neuer Benchmark misst selektive Nicht-Compliance in Vision-Language-Modellen

KoNA bewertet Nicht-Compliance auf Komponentenebene

Ein neuer Benchmark namens KoNA soll laut dem zugehörigen Paper bewerten, wie gut Vision-Language-Modelle (VLMs) selektive Nicht-Compliance umsetzen. Bisherige Benchmarks prüfen Nicht-Compliance überwiegend auf Anfrageebene und gehen davon aus, dass eine Anfrage entweder beantwortet oder abgelehnt werden muss. Reale Anfragen enthalten jedoch oft eine Mischung aus beantwortbaren Inhalten und Komponenten, bei denen eine Antwort verweigert, korrigiert oder eine Enthaltung ausgesprochen werden sollte. Laut den Autoren des KoNA-Papers deckt der Benchmark fünf Kategorien ab: False Premise, Visual Inaccessibility, Universal Unknown, Task Feasibility und Safety. Jede Aufgabe bewertet zwei Fähigkeiten: die Nicht-Compliance auf Anfrageebene (query-level) und die Nicht-Compliance auf Komponentenebene (component-level), jeweils unter gepaarten Einzel- und zusammengesetzten Anfragen. Auf Komponentenebene muss das Modell innerhalb einer zusammengesetzten Anfrage gezielt nur die Teile ablehnen oder korrigieren, die nicht beantwortbar sind, während es die übrigen Teile beantwortet. So lässt sich prüfen, ob ein Modell bei einer Anfrage, die sowohl beantwortbare als auch nicht beantwortbare Teile enthält, nur die problematischen Teile zurückweist. Der Benchmark adressiert damit eine Lücke: Frühere Benchmarks stuften nur ganze Anfragen als compliant oder non-compliant ein. Die fünf Kategorien decken unterschiedliche Gründe für eine Ablehnung ab, von falschen Annahmen bis zu Sicherheitsbedenken.

Fine-Tuning verbessert Ablehnung ohne Leistungsverlust

Die Autoren des KoNA-Papers evaluierten nach eigenen Angaben diverse VLMs mit dem Benchmark und stellten fest, dass Modelle oft nicht angemessen ablehnen, korrigieren oder sich enthalten, besonders bei Anfragen, die selektive Nicht-Compliance erfordern. Um dem entgegenzuwirken, trainierten sie die Modelle mit zwei Datentypen: KoNA-Beispielen, die selektive Nicht-Compliance erfordern, und einem vollständig beantwortbaren Set, das direkte Antworten erhalten soll. Das Lernziel besteht darin, für jede Komponente einer Anfrage die korrekte Reaktionsart zu erzeugen: direkte Antwort für beantwortbare Teile, Ablehnung, Korrektur oder Enthaltung für nicht beantwortbare Teile. Durch die gemeinsame Präsentation beider Datentypen lernt das Modell, zwischen diesen Fällen zu unterscheiden; das vollständig beantwortbare Set wirkt als Gegengewicht, um übermäßiges Ablehnen zu verhindern. Die genaue Trainingsstrategie (z. B. Verlustgewichtung oder Epochenzahl) wird in der Zusammenfassung nicht spezifiziert. Laut dem Paper erzielen die feinabgestimmten Modelle substantielle Verbesserungen in der Nicht-Compliance-Genauigkeit (non-compliance accuracy), während die Leistung auf vollständig beantwortbaren Aufgaben (performance on fully answerable tasks) weitgehend erhalten bleibt.