NucleicBERT: Neues RNA-Sprachmodell ohne evolutionäre Informationen veröffentlicht

Neues RNA-Sprachmodell NucleicBERT veröffentlicht

Forschende haben mit NucleicBERT ein selbstüberwachtes maskiertes Sprachmodell für die RNA-Sequenzanalyse vorgestellt. Das Modell lernt kontextuelle Repräsentationen aus einzelnen Sequenzen, ohne auf evolutionäre Informationen wie Alignments zurückzugreifen. Es erfasst lokale und distale Abhängigkeiten innerhalb der Sequenz. Der Großteil des menschlichen Genoms besteht aus nicht-proteinkodierenden Regionen, deren strukturelle und funktionale Rollen unklar sind. Viele dieser Regionen wirken über RNA, doch Deep-Learning-Methoden für RNA hinken hinter Proteinen hinterher, weil die meisten Ansätze auf strukturelle Labels oder evolutionäre Alignments angewiesen sind, die für RNA spärlich sind. NucleicBERT umgeht diese Anforderungen, indem es aus Sequenzkorrelationen allein lernt.

Leistung bei Struktur- und Funktionsvorhersage

Explainable-AI-Analysen zeigen, dass NucleicBERT RNA-Sequenzen im latenten Raum organisiert und strukturelle Eigenschaften kodiert. Konkret clustert das Modell RNA-Typen im latenten Raum, sodass ähnliche RNA-Klassen in der Repräsentation nahe beieinander liegen. Zudem richten die Aufmerksamkeitsmechanismen ihre Gewichtung auf strukturelle Eigenschaften wie Sekundärstruktur und Tertiärkontakte. Das bedeutet, dass das Modell beim Verarbeiten einer Sequenz gezielt auf Positionen achtet, die für die räumliche Faltung relevant sind, und so RNA-Biologie allein aus Sequenzkorrelationen wiederentdeckt. Bei Feinabstimmung für nachgelagerte strukturelle und funktionale Aufgaben benötigt NucleicBERT nur einzelne Sequenzen. Das Modell erreicht oder übertrifft aktuelle RNA-Vorhersagemodelle.

Verfügbarkeit auf GitHub

NucleicBERT ist auf GitHub unter https://github.com/KIT-MBS/NucleicBERT verfügbar. Die Autoren haben keine konkurrierenden Interessen erklärt.