Aggregierte Sicherheits-Scores für KI-Sprachmodelle sind irreführend

Aggregierte Scores verschleiern wahre Sicherheitsleistung

Forscher, darunter einige vom UK AI Security Institute, haben in einer Analyse zahlreicher KI-Sprachmodelle gezeigt, dass aggregierte Sicherheits-Scores irreführend sind. Diese Scores fassen die Sicherheitsleistung eines Modells in einer einzigen Kennzahl zusammen, verschleiern aber, wie gut das Modell tatsächlich zwischen harmlosen und problematischen Anfragen unterscheidet. Ein zentrales Problem ist, dass Modelle die aggregierten Werte künstlich erhöhen können, indem sie Anfragen pauschal blockieren. Durch das systematische Ablehnen aller Anfragen wird die Erkennungsrate für problematische Anfragen künstlich erhöht, weil das Modell keine unsicheren Anfragen durchlässt; zugleich werden aber auch harmlose Anfragen blockiert, was die Alltagstauglichkeit mindert. Ein solches Modell erscheint in der Sicherheitsbewertung als sehr sicher, ist für Nutzer jedoch kaum brauchbar, da es auch berechtigte Anfragen abweist. Durch das Blockieren werden die Scores künstlich erhöht, was die Alltagstauglichkeit mindert. Die Studie belegt diese Schwäche der gängigen Bewertungsverfahren anhand vieler Modelle und zeigt, dass die aggregierten Scores die wahre Sicherheitsleistung verschleiern, statt sie transparent zu machen. Eine differenzierte Betrachtung, die etwa die Rate der korrekt blockierten problematischen Anfragen getrennt von der Rate der fälschlich blockierten harmlosen Anfragen misst, ist nötig, um Modelle zu identifizieren, die sowohl sicher als auch nützlich sind. Nur so lässt sich vermeiden, dass Sicherheitsrankings Modelle bevorzugen, die im Alltag versagen, weil sie durch pauschales Blockieren eine hohe True-Positive-Rate bei gleichzeitig hoher False-Positive-Rate erreichen.

Wenige gezielte Fragen reichen für vergleichbare Ergebnisse

Die Analyse zahlreicher Modelle zeigt außerdem, dass die meisten Standard-Testfragen redundant sind. Viele dieser Fragen decken dieselben Sicherheitsaspekte ab, sodass ein kleiner, repräsentativer Fragenpool ausreicht, um das gleiche Sicherheitsprofil zu bestimmen. Kurze, gezielte Tests mit nur einer Handvoll Fragen liefern daher vergleichbare Ergebnisse wie umfangreiche Testsets und senken die Evaluationskosten erheblich. Die Studie führt dazu eine statistische Methode ein, mit der sich aussagekräftige Fragen gezielt auswählen lassen. Diese Methode bewertet den Informationsgehalt jeder Frage und entfernt redundante Fragen, die keine zusätzlichen Informationen liefern, sodass nur die aussagekräftigsten Fragen übrig bleiben. Dadurch können Sicherheitsprüfungen effizienter gestaltet werden, ohne an Aussagekraft zu verlieren. Die Redundanz der Standardfragen führt zu gleichen Ergebnissen, weil die wesentlichen Schwachstellen bereits durch wenige, gut gewählte Fragen abgedeckt werden. Statt vieler ähnlicher Fragen genügt eine kompakte Auswahl, die die relevanten Risikodimensionen abbildet. So lässt sich die Anzahl der Testfragen drastisch reduzieren, ohne dass die Bewertung an Genauigkeit einbüßt. Die Forscher zeigen, dass bereits eine Handvoll sorgfältig ausgewählter Fragen ausreicht, um die Sicherheitsleistung eines Modells zuverlässig einzuschätzen.

Die trügerische Einfachheit von Sicherheits-Scores

Erfolgreiche KI-Sicherheit kann paradoxerweise unsichtbar bleiben, wie rameshnotabot in r/ControlProblem betont – ein Grund, warum aggregierte Scores irreführend sind. Die Analogie zum Y2K-Problem, die ein gelöschter Nutzer in r/ControlProblem zieht, verdeutlicht: Viele Sicherheitsarbeiten bleiben im Verborgenen, während öffentliche Wahrnehmung nur die ausbleibende Katastrophe sieht. Zudem erinnert efvie in r/explainlikeimfive daran, dass LLMs letztlich statistische Gewichtungen sind – ihre „Sicherheit“ lässt sich nicht auf simple Kennzahlen reduzieren.