KI SpotlightNewsDeepMind startet doppelblinde Evaluierung von Gemini Flash Lite
Pilotprojekt mit Singapore AI Safety Institute, OpenMined, AVERI und MLCommons testet Gemini Flash Lite in kryptografisch abgeschotteter Umgebung.
Mit KI erstellt◆ Fakten auf einen Blick
- Google DeepMind hat ein doppelblindes Evaluierungsverfahren für ein proprietäres Frontier-KI-Modell angekündigt.
- Partner des Pilotprojekts sind das Singapore AI Safety Institute, OpenMined, AVERI und MLCommons.
- Getestet wird ein Modell der Reihe Gemini Flash Lite gegen vertrauliche Benchmarks.
- Die externen Test-Prompts bleiben in einer kryptografischen 'Box' bzw. vertraulichen Umgebung, sodass Google die Fragen nicht sehen und das Modell sie später nicht zum Optimieren nutzen kann.
- Die Evaluierung nutzt Google Cloud Confidential Space und hardware-attestierte Enklaven; Modell und Prompts werden in eine vertrauliche Umgebung gestreamt.
- Das Pilotprojekt verwendet einen reservierten Teil des MLCommons-AILuminate-AIRR-1.4-Benchmarks (u.a. CBRN-Gefahren, Cyberangriffe, Hassrede, Selbstverletzung, Gewaltverbrechen) sowie einen separaten privaten Prompt-Set des Singapore AISI zu schädlichen Inhalten im Singapur-Kontext.
Laut einer Ankündigung von Google DeepMind startet das Unternehmen die erste doppelblinde Evaluierung eines proprietären Frontier-KI-Modells. In einem Pilotprojekt mit dem Singapore AI Safety Institute, OpenMined, AVERI und MLCommons wird ein Modell der Reihe Gemini Flash Lite gegen vertrauliche Benchmarks getestet. Die externen Test-Prompts bleiben dabei in einer kryptografisch abgeschotteten Umgebung, sodass weder Google die Fragen einsehen noch das Modell sie später zur Optimierung nutzen kann. Auch die Evaluatoren erhalten keinen Zugriff auf die Modellgewichte. Auf diese Weise soll eine Benchmark-Kontamination verhindert werden, bei der Modelle Testfragen auswendig lernen, anstatt tatsächliche Fähigkeiten zu zeigen. Konkrete Ergebnisse oder ein Zeitplan wurden nicht veröffentlicht.
