Phylo verlagert Biologie-Agenten auf offene Modelle und nennt 60 % niedrigere Kosten

Phylo lässt die Mehrheit seiner Biologie-Agenten auf offenen Modellen laufen und nennt 60 % niedrigere Kosten

Beim Biologie-Agenten Biomni Lab läuft inzwischen die Mehrheit des Traffics auf offenen Modellen über Fireworks Serverless. Das berichtet Fireworks in einer Fallstudie. Phylo gibt an, die Kosten seien um 60 % gesunken, bei einem Nutzerwachstum von 2x pro Monat. Auf dem Serverless-Fast-Path habe sich die Time to first token ungefähr halbiert.

Phylo ist ein angewandtes Forschungslabor und entwickelt Biomni Lab. Hervorgegangen ist es aus dem Open-Source-Projekt Biomni, das 2024 in Stanford startete. Laut Fallstudie nutzen es mehr als 50.000 Wissenschaftler. Biomni Lab stellt Biologen Agenten bereit, die Forschung über hunderte Datenbanken und Tools planen, ausführen und dokumentieren.

Die Ausgangslage schildert Phylo so: Agentenläufe verbrauchen viele Tokens und dauern Stunden bis Tage. Sie verteilen sich zudem auf mehrere Maschinen. Die Inferenzkosten bestimmten das Nutzungskontingent. Davon hing ab, wie viel ein Biologe arbeiten konnte, bevor er an eine Bezahlschranke stieß. Hätte sich die monatliche Nutzung verdoppelt, wären die Kosten proprietärer Modelle im selben Maß gestiegen.

Die Fallstudie nennt weder die eingesetzten Modelle noch die Lösung, die vorher lief. Alle Zahlen stammen von Phylo beziehungsweise aus der Fallstudie.

Neue Modelle binnen eines Tages in Produktion: Phylos Eval-Verfahren auf BiomniBench

Phylo beschreibt seinen Ansatz als modellagnostisch. Welches Modell je Aufgabentyp zum Standard wird, entscheidet das Labor anhand eigener BiomniBench-Evaluierungen nach Qualität, Latenz und Kosten. Neue offene Modelle gehen innerhalb von 24 Stunden in Produktion. Voraussetzung sind automatisierte Evals und ein Test mit Live-Traffic.

BiomniBench hat Phylo selbst veröffentlicht. Das Framework arbeitet spurbasiert: Es bewertet, wie ein Agent analytisch vorgeht, nicht allein das Endergebnis. Ergänzt wird es durch BixBench-Verified-50, eine Open-Source-Teilmenge von BixBench. Den vollen BiomniBench-Umfang will Phylo „in den kommenden Wochen“ nachreichen.

Auf diesen Benchmarks erreicht Biomni Lab nach Phylos Darstellung vorläufig eine Leistung auf Augenhöhe mit erfahrenen Pharma-Wissenschaftlern. Das gilt für den eigenen Benchmark. Eine unabhängige Replikation gibt es bislang nicht.

Was Fireworks zusagt und was bislang nur Herstellerangabe ist

Für seine Plattform nennt Fireworks veröffentlichte Qualitätsgrenzen: Die KL-Divergenz liegt unter etwa 0,007, die Token-Rejection unter etwa 3 %, jeweils gegenüber einer unquantisierten Referenz. Der Durchsatz soll bis zu 4x über dem von vLLM liegen. In langen Agentensitzungen erreichen die Cache-Hit-Raten laut Fireworks bis zu 99,6 %. Die Varianten Fast und Standard laufen mit denselben Gewichten.

Andere Aussagen sind nur Herstellerangaben: „branchenführende Latenz“, die These der Fallstudie, offene Modelle brächten Biologen am schnellsten „frontier-level intelligence“, sowie der Zusammenhang zwischen mehr Arbeit pro Kontingent und höherer Retention. Belege dafür liefert das Material nicht.

Es fehlen Modellnamen, ein Vorher-Nachher-Vergleich und unabhängige Benchmarks. Ohne sie lassen sich die 60 % Kostenersparnis und die halbierte Latenz nicht einordnen.