Fünf Pharmakonzerne trainieren KI-Modell per Federated Learning ohne Datenaustausch

Fünf Pharmakonzerne trainieren KI-Modell ohne Datenaustausch

Ein Konsortium aus fünf Pharmaunternehmen – AbbVie, Astex Pharma, Bristol Myers Squibb, Johnson & Johnson und Takeda – hat mittels Federated Learning ein KI-Modell trainiert, ohne proprietäre Protein-Ligand-Daten zu teilen. Die beteiligten Firmen steuerten über 20.000 solcher Strukturen bei, die als Trainingsdaten dienten. Beim Federated Learning bleiben die sensiblen Daten auf den lokalen Systemen der Unternehmen; lediglich Modell-Gradienten werden aggregiert. Auf diese Weise entstand das Modell AISB-1-Fed, das nach Angaben der Beteiligten bessere Leistungen erzielt als öffentlich verfügbare Modelle. Die Initiative wurde über das AI Structure Biology Network koordiniert und markiert nach Darstellung der Projektpartner einen Durchbruch für datenschutzfreundliches KI-Training in der Pharmaindustrie. Zusätzlich zu den Trainingsdaten wurden 1.000 private Strukturen für eine unabhängige Evaluierung reserviert. Der Ansatz adressiert ein zentrales Problem: Viele wertvolle Strukturdaten liegen bei einzelnen Unternehmen, dürfen aber aus Wettbewerbs- und Datenschutzgründen nicht zentral zusammengeführt werden. Federated Learning erlaubt es, aus diesen verteilten Daten zu lernen, ohne sie offenzulegen. Die fünf Unternehmen sind direkte Wettbewerber, was die Bedeutung der Zusammenarbeit unterstreicht.

Technische Basis: Apheris und OpenFold3

Technisch basiert das Training auf der Apheris-Technologie, die die Orchestrierung des Federated Learning übernimmt. Als Modellarchitektur diente die OpenFold3 Preview 2 der Columbia University. Dabei handelt es sich um ein Co-Folding-Modell, das Proteinstrukturen und Liganden gemeinsam vorhersagt. Die Wahl dieser Architektur ermöglichte es, die proprietären Protein-Ligand-Komplexstrukturen der beteiligten Unternehmen zu nutzen. Apheris stellt die Infrastruktur bereit, um die lokalen Trainingsschritte zu koordinieren und nur die Gradienten auszutauschen. Die Kombination aus einer leistungsfähigen öffentlichen Architektur und einer sicheren Federated-Learning-Plattform war nach Angaben der Projektbeteiligten entscheidend für den Erfolg.

Leistungsdaten: Deutliche Verbesserung bei PL-lDDT und bisyRMSD

Das trainierte Modell AISB-1-Fed erreichte nach Angaben der Projektpartner eine deutlich höhere Erfolgsrate bei den Metriken PL-lDDT und bisyRMSD und übertraf damit das führende öffentliche Modell Boltz-2. PL-lDDT misst die lokale Distanzdifferenz-Testgenauigkeit für Protein-Ligand-Komplexe, bisyRMSD bewertet die Abweichung der Bindungsstellung. Die Ergebnisse belegen, dass das auf privaten Daten trainierte Modell bei der Vorhersage von Protein-Ligand-Strukturen präziser arbeitet als Modelle, die ausschließlich mit öffentlichen Daten trainiert wurden. Unabhängige Tests zeigten zudem eine deutliche Verbesserung bei der Vorhersage von Protein-Protein-Interaktionen, obwohl das Training nicht explizit auf diese Aufgabe optimiert war. Dies deutet darauf hin, dass die zusätzlichen proprietären Daten die Generalisierungsfähigkeit des Modells erhöhen. Die Ergebnisse wurden mit 1.000 zurückgehaltenen privaten Strukturen evaluiert, die nicht in das Training einflossen.

Sicherheitsvalidierung: Keine Datenlecks

Sicherheitsbewertungen des Systems ergaben keine Hinweise auf Datenlecks oder Schwachstellen, die eine Rekonstruktion der proprietären Trainingsdaten ermöglichen würden. Die Prüfungen umfassten nach Angaben der Beteiligten Angriffsszenarien, bei denen versucht wurde, aus den ausgetauschten Gradienten Rückschlüsse auf die Originaldaten zu ziehen. Die Ergebnisse bestätigen, dass der Federated-Learning-Ansatz den Schutz vertraulicher Informationen gewährleistet. Damit eignet sich die Methode für den Einsatz in der pharmazeutischen Industrie, wo der Schutz geistigen Eigentums hohe Priorität hat.

Vorgeschichte: MELLODDY als Wegbereiter

Bereits das frühere MELLODDY-Projekt hatte die Machbarkeit von Federated Learning in der Pharmaindustrie demonstriert. An dem Konsortium waren zehn Pharmaunternehmen beteiligt, darunter Amgen, Astellas, AstraZeneca, Bayer, Boehringer Ingelheim, GSK, Servier, Janssen, Merck KGaA und Novartis. Das Projekt nutzte einen Datensatz von über 2,6 Milliarden vertraulichen experimentellen Aktivitätsdatenpunkten, die mehr als 21 Millionen kleine Moleküle und über 40.000 Assays dokumentieren. Ziel war die Schaffung einer sicheren prädiktiven Modellierungsplattform. MELLODDY erreichte nach Angaben der Partner sein Jahresziel: die Plattform wurde aufgebaut und der erste erfolgreiche Federated-Learning-Lauf durchgeführt. Die beteiligten Unternehmen erzielten aggregierte Verbesserungen bei ihren Klassifikations- und Regressionsmodellen. Das Projekt war UK-basiert und zielte darauf ab, Machine-Learning-Modelle auf Daten der zehn Unternehmen zu verbessern, ohne proprietäre Informationen preiszugeben. Federated Learning ermöglichte es den Wettbewerbern, gemeinsam zu trainieren, während die Daten bei den jeweiligen Unternehmen verblieben. MELLODDY gilt als Wegbereiter für die nun vorgestellte Initiative, da es erstmals im großen Maßstab zeigte, dass konkurrierende Pharmaunternehmen von gemeinsamem Modelltraining profitieren können, ohne ihre Daten zu teilen.

Weitere Initiativen: Neun-Unternehmen-Netzwerk und Eli Lillys TuneLab

Parallel zu dem Fünf-Unternehmen-Konsortium existiert ein Branchen-geführtes Netzwerk aus neun führenden Pharmaunternehmen, das gegründet wurde, um KI für die Wirkstoffforschung voranzutreiben. Hintergrund sind die begrenzten öffentlichen Protein- und Ligand-Strukturdaten: Die Protein Data Bank enthält nur etwa 10.600 Strukturen mit zugelassenen oder in Untersuchung befindlichen Wirkstoffen, und nur etwa 3.000 davon wurden nach dem Trainings-Cutoff von AlphaFold3 hinzugefügt. Diese Knappheit erschwert das Training präziser Modelle für industrielle Anwendungen. Ein weiteres Beispiel für Federated Learning in der Branche ist Eli Lillys TuneLab-Plattform. Sie nutzt Federated Learning, um externen Partnern Zugang zu prädiktiven Modellen zu ermöglichen, die auf über 500.000 Molekülen aus mehr als 20 Jahren experimenteller Daten trainiert wurden. Teilnehmende Unternehmen können experimentelle Ergebnisse in die Plattform zurückspeisen und so die Modelle kontinuierlich verbessern. Diese Initiativen zeigen einen Trend: Pharmaunternehmen setzen zunehmend auf verteiltes Lernen, um die Datenknappheit zu überwinden, ohne sensible Informationen preiszugeben.

Widerspruch: Fünf oder neun Unternehmen?

In der Berichterstattung über das aktuelle Konsortium fällt ein Widerspruch auf: Während die Projektmitteilung von fünf beteiligten Pharmaunternehmen spricht – AbbVie, Astex Pharma, Bristol Myers Squibb, Johnson & Johnson und Takeda –, wird an anderer Stelle ein Branchen-geführtes Netzwerk aus neun führenden Pharmaunternehmen genannt. Aus dem vorliegenden Material geht nicht hervor, ob es sich um dasselbe Netzwerk zu unterschiedlichen Zeitpunkten handelt oder um zwei getrennte Initiativen. Möglicherweise hat sich die Zahl der Mitglieder seit der Gründung verändert, oder das Neun-Unternehmen-Netzwerk ist eine separate, breitere Kooperation. Die Diskrepanz wird in den Quellen nicht aufgelöst. Für die Bewertung der aktuellen Ergebnisse ist die Zahl der konkret am Training beteiligten Unternehmen jedoch eindeutig: fünf.

Benchmark: Federated Learning verbessert Drug-Target-Interaction

Die Vorteile von Federated Learning für die Pharmaindustrie werden durch einen Benchmark untermauert, der die Vorhersage von Drug-Target-Interaktionen untersucht. Mit dem GraphDTA-Modell und dem KIBA-Datensatz erreichte Federated Learning eine bis zu 15 Prozent verbesserte Leistung gegenüber der besten nicht-privatsphären-wahrenden Alternative. Die Autoren der Studie argumentieren, dass Federated Learning mit den regulatorischen und kommerziellen Beschränkungen der Branche vereinbar ist, da keine Informationen geteilt werden, die Rückschlüsse auf die Daten einzelner Unternehmen zulassen. Der Benchmark zeigt zudem, dass die nicht-unabhängige Datenverteilung in Drug-Target-Interaktionsdatensätzen die Leistung nicht verschlechtert.