GPT-6 Astra erreicht 66,7 Prozent bei der Auswertung echter Laborbefunde

GPT-6 Astra erreicht 66,7 % bei Laborbefunden aus echten Experimenten

Am 6. November 2026 haben OpenAI und das Enzym-Design-Unternehmen Ligo BioBasicsBench vorgestellt. Der Benchmark besteht aus 100 Wet-Lab-Aufgaben, 88 davon sind multimodal. Er prüft, ob KI-Agenten rohe Laborbefunde – Gele, Koloniplatten, Mikroskopie und Instrumentendateien – so deuten wie Laborforschende.

An der Spitze von sieben getesteten Modellen steht GPT-6 Astra mit 66,7 % des möglichen Partial-Credits bei xhigh-Reasoning. Dahinter folgen GPT-6.1 Sol mit 62,0 %, GPT-5.6 Sol mit 43,8 % und das schwächste Modell, GPT-5.2, mit 31,2 %. Astra brauchte pro Aufgabe rund 4.704 Output-Tokens, GPT-5.6 Sol dagegen 9.099 – etwa doppelt so viele. OpenAI führt das auf eine bessere native Bildlesefähigkeit zurück. Unabhängig geprüft ist diese Erklärung nicht.

Der Redaktion lag keine Primärquelle vor, weder ein Beitrag von OpenAI oder Ligo noch ein Paper oder Repository. Alle Angaben stammen aus Sekundärberichten.

Rohdaten aus Ligo-Experimenten, Rubriken und Partial-Credit statt Multiple Choice

Anders als viele Biologie-Benchmarks arbeitet BioBasicsBench weder mit kuratierten Abbildungen aus Fachartikeln noch mit Multiple-Choice-Fragen. Die Aufgaben beruhen auf Rohdaten, die Ligo-Forschende in eigenen Experimenten erzeugt haben. Dazu gehören Gel- und Blot-Bilder, Plattenfotos, Mikroskopie-Stacks, Sequenzierreads, Plate-Reader-Exporte und Videoclips.

Die 100 Aufgaben verteilen sich auf fünf Bereiche: Proteinmethoden (25), Bildgebung und Zytometrie (23), Quantifizierung und Assays (19), Nukleinsäure-Methoden (17) und molekulares Klonieren (16). Jede Aufgabe hat eine von Experten verfasste Rubrik. Sie wurde zweimal intern und einmal extern von einer Person auf PhD-Niveau begutachtet.

Die Agenten liefern eine strukturierte Antwort. Bewertet wird per Partial-Credit je Rubrikkriterium. Der Score ist der mittlere Reward über fünf Versuche pro Aufgabe. 19 Aufgaben bieten die Option „nicht bestimmbar“ und prüfen, ob Modelle erkennen, wann die Evidenz für eine Schlussfolgerung nicht reicht. Abgedeckt ist nur die Analyse nach der Datenerhebung. Pipettieren, Gerätebedienung und Robotik sind ausgenommen.

Überzählte Kolonien, umgedeutete Kontrollen: Wo Astra noch scheitert

Auch das Spitzenmodell macht Fehler. Bei einem Klonierungs-Gel erkannte Astra die Bandenmuster richtig. Dann deutete es die durch Kontrollen gestützte Lage um und empfahl Kolonien, die noch das Ursprungsplasmid trugen. Dokumentiert sind außerdem widersprechende Evidenz, die beiseitegeschoben wurde, eine Koloniplatte, die um etwa 12 % zu hoch gezählt wurde, und eine Verwechslung bei einem z-Stack.

Astra überzeugte aber auch. Das Modell erkannte eine Kontrollplatte mit falschem Antibiotikum-Label. Außerdem markierte es überlappende Farbstoffkanäle, die Sol als tote Zellen gelesen hatte. Welche Sol-Version gemeint ist, nennt die Quelle nicht.

OpenAI schreibt selbst: „Higher benchmark scores do not yet mean models can make reliable judgments in the lab.“ Labore sollten Modellurteile daher weiterhin von Fachpersonal prüfen lassen.

Abweichende Zahlen in Sekundärquellen und offene Einordnung

Die Sekundärquellen stimmen nicht in allen Details überein. Eine nennt für Astra „high“ statt xhigh Reasoning bei gleichen 66,7 %. Benchlm.ai gibt 67,0 % für Astra, 62,6 % für GPT-6.1 Sol und 45,6 % für GPT-5.6 Sol an. Die Ursache ist offen. Rundung, eine andere Aggregation oder abweichende Läufe kommen infrage. Ohne Primärtabelle lässt sich das nicht klären. Benchlm.ai zeigt den Benchmark nur an, rechnet ihn nicht in die Gesamtwertung ein und übernimmt die Zahlen aus Herstellerangaben.

Die Einordnung als „einer der größten“ öffentlichen Bio-KI-Tests stammt aus einer Sekundärquelle und ist nicht geprüft. Berichten zufolge soll der Benchmark als Basislinie für Laborassistenz und für Biosecurity-Tracking dienen. Aussagen über Folgen für Deutschland oder die EU lassen die Quellen nicht zu.