Google DeepMind startet doppelblinde Bewertung für Gemini Flash Lite

Doppelblinde Bewertung für Gemini Flash Lite

Google DeepMind hat ein Pilotprojekt angekündigt, bei dem nach Angaben des Unternehmens erstmals ein proprietäres Frontier-KI-Modell doppelblind bewertet wird. Getestet wird das Modell Gemini Flash Lite gegen vertrauliche Benchmarks in einer datenschutzfreundlichen Umgebung. Partner des Pilotprojekts sind das Singapore AI Safety Institute, OpenMined, AVERI und MLCommons. Doppelblind bedeutet in diesem Kontext, dass weder das zu testende Modell die konkreten Testinhalte einsehen kann noch die Prüfer direkten Zugriff auf das Modell erhalten; die Interaktion läuft über eine abgeschottete, kryptografisch gesicherte Umgebung. Dadurch wird ausgeschlossen, dass das Modell die Testfragen vorab kennt und seine Antworten gezielt darauf optimiert – ein Problem, das als Benchmark-Kontamination bekannt ist. Die externen Evaluationen werden in einer kryptografischen „Box“ gehalten, sodass sie von Modellen später nicht zur Leistungsoptimierung vor dem Test genutzt werden können. Google bewertet seine KI-Systeme nach eigenen Angaben nicht nur intern, sondern arbeitet mit externen Partnern wie spezialisierten Forschungslaboren, zivilgesellschaftlichen Organisationen und nationalen AI Safety and Security Institutes zusammen. Das Verfahren soll die Integrität der Evaluationen erhöhen, indem es eine vorherige Kenntnis der Testfragen durch das Modell technisch ausschließt. Die Partner bringen dabei unterschiedliche Expertisen ein – von der Bereitstellung unabhängiger Testdatensätze bis zur Entwicklung sicherer Ausführungsumgebungen. Die Besonderheit liegt darin, dass erstmals ein kommerzielles Spitzenmodell unter Bedingungen getestet wird, die eine vorherige Kenntnis der Testinhalte technisch ausschließen – ein Novum in der Branche.

Kryptografische Box gegen Benchmark-Kontamination

Die kryptografische Box soll verhindern, dass externe Evaluationen später zur Leistungsoptimierung genutzt werden. Ein typisches Beispiel für Benchmark-Kontamination ist, wenn ein Modell während des Trainings oder Feintunings bereits auf die Testfragen gestoßen ist und diese auswendig gelernt hat – die Ergebnisse spiegeln dann nicht die tatsächliche Leistungsfähigkeit wider, sondern nur das Gedächtnis des Modells. Grundlage des neuen Verfahrens ist das Attestable-Audits-Framework, das in einem Fachartikel auf arXiv beschrieben wird. Es setzt auf hardwaregestützte Trusted Execution Environments (TEEs) wie AWS Nitro Enclaves, AMD SEV-SNP oder Intel TDX. Diese isolierten Ausführungsumgebungen schützen sensible Daten – Modellgewichte, Audit-Code und Benchmark-Datensätze – selbst vor dem Host-Betriebssystem und dem Hypervisor, sogar gegen physische Angreifer mit Speicherzugriff. Entscheidend ist die Remote Attestation: Die sichere Hardware signiert kryptografisch einen Bericht, der die Konfiguration der TEE anhand von Platform Configuration Registers (PCRs) bestätigt. Dadurch kann nachgewiesen werden, dass die Ausführung tatsächlich in einer bestimmten, vertrauenswürdigen TEE-Umgebung stattgefunden hat. Das schützt sensible Daten auch dann, wenn sich Modellanbieter und Prüfer nicht gegenseitig vertrauen. Eine Zusammenfassung auf themoonlight.io beschreibt das Framework ebenfalls und hebt die Rolle von TEEs und Remote Attestation hervor. Für das Pilotprojekt bedeutet das: Die vertraulichen Benchmarks bleiben in einer abgeschotteten Umgebung, und das Modell erhält keinen Zugriff auf die Testinhalte vor der eigentlichen Bewertung. Die Interaktion zwischen Modell und Benchmark findet ausschließlich innerhalb der TEE statt, und die Attestierung belegt, dass keine Manipulation möglich war.

Technische Grundlagen und Abgrenzung zu früherer Berichterstattung

Begleitend veröffentlichte Fachartikel vertiefen die technischen Grundlagen. Ein Papier mit dem Titel „A Framework for Cryptographic Verifiability of End-to-End AI Pipelines“ analysiert kryptografische Ansätze für verifizierbare KI-Pipelines über den gesamten Lebenszyklus, von der Datenbeschaffung bis zum Unlearning. Ein Internet-Draft der IETF definiert ein Sicherheits-Evaluations-Benchmark-Framework für KI-Agenten mit vier Bewertungsdimensionen und 55 Metriken, das Risiken in Wahrnehmung, Gedächtnis, Entscheidungsfindung und Ausführung abdeckt. Im Gegensatz zu früheren kispotlight-Artikeln, die sich mit KI-Schwächen bei Intelligenztests (etwa der Columbia-Studie, die trotz Puzzle-Fortschritten Defizite feststellte) oder mit Memory-Problemen von KI-Agenten befassten (ein Leitfaden zeigte, dass Agenten eher am Gedächtnis als am logischen Denken scheitern), geht es hier um ein grundlegend anderes Thema: die kryptografische Verifizierbarkeit der Evaluierungsmethodik selbst. Während die früheren Artikel die kognitiven Fähigkeiten der Modelle untersuchten, adressiert das neue Verfahren die Frage, wie man überhaupt vertrauenswürdige Testergebnisse erhält, wenn Modelle möglicherweise die Testdaten kennen. Das Verfahren schließt eine Lücke zwischen politischen Prüfanforderungen und technischer Umsetzbarkeit.