DrugDiscoveryBench: Neuer Benchmark prüft KI-Agenten für die Wirkstoffforschung

Neuer Benchmark für KI-Agenten in der Wirkstoffforschung

Die Entwicklung eines neuen Medikaments kann mehr als ein Jahrzehnt dauern und Milliarden von Dollar kosten. Der Prozess beginnt mit der Wirkstoffforschung, und ein großer Teil dieser frühen Arbeit ist computergestützt. KI-Agenten sollten für diese Art von Aufgaben gut geeignet sein, doch wie schneiden die derzeit führenden Agenten tatsächlich ab? Und wie könnte ihre Leistung verbessert werden? Um diese Fragen zu beantworten, haben Scale Labs und das Biotechnologie-Unternehmen Phylo den DrugDiscoveryBench entwickelt.

Das Benchmark-Tool misst und bewertet die Fähigkeit von KI-Agenten, molekulare Strukturen nachzuschlagen, chemische Eigenschaften zu berechnen sowie Patent- und genetische Datenbanken zu durchsuchen. Diese Aufgaben sind für die frühe Wirkstoffforschung essenziell, weil sie die Grundlage für jede weitere Entscheidung bilden: Bevor ein Molekül überhaupt im Labor getestet wird, muss seine Struktur bekannt sein, müssen seine chemischen Eigenschaften wie Löslichkeit oder Bindungsaffinität abgeschätzt und muss die Patentlage geprüft werden. Auch die Suche in genetischen Datenbanken nach Zielstrukturen, die mit einer Krankheit in Verbindung stehen, gehört zu den täglichen Routinen. DrugDiscoveryBench setzt hier an, indem es diese Arbeitsschritte nicht automatisiert, sondern die Leistung von KI-Agenten bei ihrer Bewältigung systematisch erfasst und in einem Ranking vergleichbar macht. Statt also nur zu behaupten, ein Agent könne Wirkstoffforschung unterstützen, liefert das Werkzeug eine objektive Messlatte: Es stellt den Agenten standardisierte Aufgaben, bewertet die Korrektheit und Vollständigkeit der Ergebnisse und ordnet sie in ein Ranking ein. So wird sichtbar, welche Agenten bei welchen Teilaufgaben Stärken oder Schwächen haben – eine entscheidende Voraussetzung, um die KI-gestützte Wirkstoffforschung gezielt voranzubringen.

Von allgemeinen KI-Lücken zum fokussierten Werkzeug

Die Vorstellung von DrugDiscoveryBench fällt in eine Zeit, in der die Grenzen von KI-Agenten zunehmend nüchterner betrachtet werden. Ein früherer Bericht von AI21 Labs identifizierte vier konkrete Lücken zwischen Demo-Agenten und produktiven KI-Systemen. Diese Analyse machte deutlich, dass die Leistung eines Agenten in einer kontrollierten Vorführung wenig über seine Alltagstauglichkeit aussagt. Zu den identifizierten Lücken zählten unter anderem die mangelnde Robustheit bei unerwarteten Eingaben, die unzureichende Fähigkeit, mehrschrittige Arbeitsabläufe zuverlässig abzuschließen, die fehlende Integration in bestehende IT-Infrastrukturen sowie die inkonsistente Leistung über längere Zeiträume. Kurz gesagt: Ein Agent, der in einer Demo eine Patentrecherche fehlerfrei durchführt, kann im realen Einsatz an wechselnden Datenformaten, unvollständigen Abfragen oder schlicht an der schieren Menge der zu verarbeitenden Informationen scheitern.

Parallel dazu bewertete ein umfassender Report die Fähigkeiten und Risiken allgemeiner KI. Dieser Report untersuchte breite, domänenübergreifende Fähigkeiten wie natürliches Sprachverständnis, logisches Schlussfolgern, Problemlösen und Codegenerierung. So wichtig diese generischen Kompetenzen sind – sie bilden die hochspezialisierten Anforderungen der Wirkstoffforschung nicht ab. Ein Agent, der in einem allgemeinen Sprachverständnistest brilliert, kann dennoch daran scheitern, eine chemische Struktur korrekt aus einer Datenbank abzurufen oder die Patentlage für eine bestimmte Molekülklasse zuverlässig zu analysieren. Genau hier setzt DrugDiscoveryBench an und schließt die Lücke zwischen allgemeinen KI-Bewertungen und den spezifischen Bedürfnissen der Pharmaforschung.

Der neue Benchmark macht domänenspezifische Agentenfähigkeiten messbar, indem er ein standardisiertes Set an Aufgaben definiert, die direkt aus dem Arbeitsalltag der frühen Wirkstoffforschung stammen. Konkret müssen die getesteten Agenten molekulare Strukturen aus öffentlichen Datenbanken abrufen, chemische Eigenschaften wie den Verteilungskoeffizienten (logP) oder die molare Masse berechnen, Patentdatenbanken nach relevanten Schutzrechten durchsuchen und genetische Datenbanken nach krankheitsassoziierten Zielgenen befragen. Für jede dieser Aufgaben liegen Referenzlösungen vor, sodass die Antworten der Agenten objektiv auf Korrektheit, Vollständigkeit und Geschwindigkeit geprüft werden können. Die Ergebnisse fließen in ein Ranking ein, das nicht nur eine Gesamtbewertung liefert, sondern auch die Stärken und Schwächen der einzelnen Systeme in den verschiedenen Aufgabentypen offenlegt. Damit wird erstmals objektiv vergleichbar, wie gut verschiedene KI-Systeme diese für die Arzneimittelforschung kritischen Arbeitsschritte beherrschen – eine entscheidende Voraussetzung, um die Lücke zwischen vielversprechenden Demos und produktiven Systemen zu schließen.

Messlatte für Wirkstoff-KI

Mit DrugDiscoveryBench erhalten Entwicklerteams ein praxistaugliches Evaluierungswerkzeug, um die Leistung ihrer KI-Agenten in einem realistischen, aber kontrollierten Szenario zu messen. Statt aufwändiger Einzeltests mit Laborwissenschaftlern können sie nun systematisch prüfen, ob ein Agent zuverlässig molekulare Strukturen recherchiert, chemische Eigenschaften korrekt berechnet oder Patentdatenbanken effizient durchsucht. Das ermöglicht eine gezielte Optimierung und beschleunigt die Entwicklung von Agenten, die tatsächlich in der frühen Wirkstoffforschung eingesetzt werden können. Gleichzeitig schafft der Benchmark für Forschende in Pharma und Biotechnologie eine objektive Vergleichsbasis. Bisher war es schwierig, die Leistung verschiedener KI-Agenten für diese speziellen Aufgaben zu bewerten, weil einheitliche Metriken fehlten. DrugDiscoveryBench trägt zur Standardisierung bei, indem er ein festes Set an Aufgaben, Datenquellen und Bewertungskriterien definiert. Dadurch wird ein gemeinsamer Referenzrahmen geschaffen, ähnlich wie es etablierte Benchmarks in anderen KI-Disziplinen – etwa ImageNet für die Bilderkennung – vormachen. Entwickler können ihre Agenten unter identischen Bedingungen testen, und Forschende können Fortschritte über verschiedene Systeme hinweg objektiv vergleichen. Zwar ersetzt der Benchmark keine Validierung im realen Labor, aber er liefert eine dringend benötigte erste Messlatte, an der sich Fortschritte in der KI-gestützten Wirkstoffforschung ablesen lassen. So wird die Lücke zwischen Demo-Agenten und produktiven Systemen Stück für Stück geschlossen – nicht durch vage Versprechungen, sondern durch transparente, reproduzierbare Leistungsmessung.