KI SpotlightNewsPFArena: Bestes KI-Modell findet bei 40 Vorschlägen im Schnitt weniger als zwei gute Mutationen
Das Shanghai AI Laboratory und zwei Tsinghua-Einrichtungen testen Protein-Sprachmodelle, allgemeine LLMs und Agentensysteme an 202 realen Assays. Die Schlussfolgerung hängt von Aufgabenwahl und Metriken ab.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- PFArena ist ein assay-basierter Benchmark für Proteinmutationen mit 202 eindeutigen Assays.
- Das kanonische Ground-Truth-Label ist DMS_score; höhere Werte bedeuten stets bessere Richtung.
- Aufgabe T1 bewertet Punktsubstitutionen mit NMS@40 und Recall@40.
- Die Aufgaben T2–T4 bewerten Mehrfachmutanten mit Spearman, NDCG, NMS@5 und Recall@5.
- Beteiligt sind Shanghai AI Laboratory sowie Tsinghua-Institute laut hyper.ai-Bericht.
PFArena: Bestes KI-Modell findet bei 40 Vorschlägen im Schnitt weniger als zwei gute Mutationen
Das Shanghai AI Laboratory hat zusammen mit dem Institute for AI Industry Research und der School of Pharmaceutical Sciences der Tsinghua-Universität den Benchmark PFArena vorgestellt. Verglichen wurden sechs Protein-Sprachmodelle, sechs allgemeine große Sprachmodelle und fünf Kombinationen aus Science-Agenten. Die Angaben stammen aus einem Bericht von hyper.ai.
Das zentrale Ergebnis: Darf das beste Modell nur 40 Kandidaten vorschlagen, findet es im Schnitt weniger als zwei hochbewertete Mutationen. Außerdem sinken die Ergebnisse, je komplexer die Mutationen werden. Die Urheber beziehungsweise die Berichterstattung leiten daraus ab, dass aktuelle KI-Systeme Proteine noch nicht verlässlich gezielt verändern können. Dabei handelt es sich um eine Gesamteinordnung. Unabhängig bestätigt ist sie nicht.
Der Benchmark entstand im offenen Science-Evaluation-Framework des Labors und baut auf dessen AMix-Protein-Foundation-Models auf.
202 Assays, vier Aufgaben: der Aufbau
Laut Datensatzbeschreibung umfasst PFArena 202 eindeutige Assays, 293 Assay-Task-Instanzen und 607.269 Kandidatenzeilen. Die Daten stammen aus öffentlichen und kuratierten Deep-Mutational-Scanning-Datensätzen. Jeder Assay folgt einem gemeinsamen Schema, das maßgebliche Label heißt DMS_score. Höhere Werte bedeuten stets die bessere Richtung, etwa höhere Fitness, Stabilität oder Bindung.
Die vier Aufgaben bilden Entscheidungen im Protein-Engineering ab. In Aufgabe T1, der Mutationsgenerierung, schlagen Modelle einzelne Punktsubstitutionen als Rangliste vor. Bewertet wird mit NMS@40 (normalized max score) und Recall@40. Die Aufgaben T2 bis T4 verlangen, feste Mengen von Mehrfachmutanten zu ranken. Gemessen werden dabei zwei Dinge: die globale Übereinstimmung der Rangfolge mit Spearman und NDCG sowie die Qualität der fünf besten Treffer mit NMS@5 und Recall@5.
Der Datensatz besteht aus CSV-Tabellen sowie FASTA- und A3M-Alignment-Dateien. Einen Train-, Validation- oder Test-Split gibt es nicht. Er enthält nur Eingaben und Labels, keinen Trainingskorpus.
Sprachmodelle ohne Messdaten vorn, LLMs und Agenten mit experimentellen Ankern
Berichtet wird ein gegenläufiges Muster. Protein-Sprachmodelle schneiden besser ab, wenn keine zielspezifischen experimentellen Daten vorliegen. hyper.ai führt das darauf zurück, dass diese Modelle Sequenz-, Struktur- und Evolutionswissen eingebettet haben. Allgemeine LLMs und Agentensysteme gewinnen dagegen an Stärke, sobald experimentelle Anker verfügbar sind. Sie nutzen die Belege, um komplexe Mutationskombinationen abzuwägen.
Die Gesamtaussage hängt von der Aufgabenwahl und den Metriken ab. Prüfen lässt sie sich über das Paper und die Datensatzseite auf Hugging Face, durch Nachrechnen der Metriken oder durch unabhängige Replikation mit weiteren Modellen und Baselines.
Das Shanghai AI Laboratory ist auch an anderer Protein-Engineering-Forschung beteiligt. Genannt werden das mit der Shanghai Jiao Tong University entwickelte Modell FSFP sowie ein temperaturgeführtes Mutantendesign-Modell der Pro-Serie, zu dem eine Veröffentlichung in Science berichtet wurde.
