Flo Health feinjustiert Llama 3.3 70B für Frauengesundheit: Wirkungsangaben stammen von Databricks

Flo Health trimmt Llama 3.3 70B auf medizinische Sicherheit

Flo Health betreibt die Frauengesundheits-App mit 81 Millionen monatlich aktiven Nutzern. Gemeinsam mit Databricks hat das Unternehmen eine Post-Training-Pipeline für feinjustierte offene Modelle aufgebaut. Das geht aus einem Fallbericht und zwei Veranstaltungsbeschreibungen von Databricks hervor.

Laut Sessionbeschreibung wurde Llama 3.3 70B zu einem Assistenten für Frauengesundheit feinjustiert. Eingesetzt wurde ein von Reinforcement Fine-Tuning (RFT) inspiriertes Verfahren auf synthetischen Daten. Als weitere Methode nennt Databricks TAO (Test-Time Adaptive Optimization).

Das Bewertungssystem besteht nach Angaben von Databricks aus 60 LLM-Judges: 52 prüfen die medizinische Sicherheit, 8 die Nützlichkeit. Bei der Aggregation der Belohnung werden die Regeln nach Priorität gewichtet. P1-Sicherheitsregeln schlagen P2-Qualitätsregeln. Ein Modell kann einen Sicherheitsverstoß also nicht durch besonders hilfreiche Antworten ausgleichen.

Das Training lief laut Databricks auf der AI Runtime mit serverlosen NVIDIA-H100-GPUs. Echte Patientendaten kamen nach dieser Darstellung nicht zum Einsatz, die Trainingsdaten seien synthetisch. Alle diese Angaben stammen von Databricks und sind nicht unabhängig bestätigt.

Kosten, Abhängigkeit, Fachwissen: Flos Gründe gegen ein Allzweckmodell

Warum der Aufwand? Flo nennt drei Einschränkungen eines einzelnen Allzweckmodells: die Kosten im großen Maßstab, die Abhängigkeit vom Lebenszyklus des Modellanbieters und die begrenzte Möglichkeit, eigene Fachexpertise ins Modell einzubringen. Die App berührt Gesundheitsthemen. Deshalb müssen Antworten medizinisch sicher und nützlich sein.

Langfristig strebt Flo ein Compound-AI-System an. Es setzt pro Aufgabe das passende Modell ein und hält dabei einen einheitlichen Sicherheitsstandard. Welchen Frontier-Anbieter Flo bisher nutzt oder ersetzen will, geht aus den vorliegenden Quellen nicht hervor.

AI Runtime ist ein serverloses GPU-Angebot von Databricks für Training und Feinjustierung eigener Modelle, mit A10- und H100-GPUs. Databricks hat es als Public Preview angekündigt. Laut SuperAnnotate und einem LinkedIn-Beitrag betreibt Flo die Bewertung medizinischer Antworten auch mit SuperAnnotate. SuperAnnotate nennt zehnfach kürzere Evaluationszyklen. Ein LinkedIn-Beitrag spricht von mehr als 12.000 validierten LLM-Ausgaben.

„Verdoppelt“ und „eine Größenordnung“: Was bisher nur der Hersteller sagt

Die Wirkungsangaben stammen ausschließlich aus Herstellerquellen. Die Kostensenkung um eine Größenordnung gegenüber Frontier-Modell-APIs bezeichnet Flo als Schätzung, nicht als gemessenen Wert.

Bei der Verdopplung widersprechen sich die Quellen. Die Zusammenfassung des Vortrags nennt eine verdoppelte medizinische Genauigkeit und Nützlichkeit. Die Sessionbeschreibung spricht von doppelter Sicherheits-Compliance gegenüber der vorherigen Iteration. Ob es um verschiedene Metriken geht oder um lockere Formulierungen, bleibt offen.

Für eine Prüfung fehlen das Testset, die Judge-Konfiguration, die genaue Vergleichsbasis und eine unabhängige oder klinische Begutachtung. Auch bei den Kosten sind Referenzmodell, Token-Preise und Messmethode nicht offengelegt.

Zur Nutzerzahl: Databricks nennt aktuell 81 Millionen monatlich aktive Nutzer. Im Juni 2025 waren es über 75 Millionen Nutzer. Ob beide Zahlen dieselbe Messgröße meinen, ist nicht belegt.