EmbeddingGemma 2: Google DeepMind veröffentlicht offenes Embedding-Modell für Text, Code, Bild, Video und Audio

EmbeddingGemma 2 bildet Text, Code, Bild, Video und Audio in einem gemeinsamen Vektorraum ab

Google DeepMind hat EmbeddingGemma 2 vorgestellt. Das offene multimodale Embedding-Modell basiert auf Gemma 4 und steht unter der Apache-2.0-Lizenz. Laut Hersteller eignet es sich für Verbraucherhardware wie Smartphones und Laptops. Text einschließlich Code, Bilder, Video und Audio sowie Kombinationen daraus landen in einem gemeinsamen Vektorraum mit 768 Dimensionen. Inhalte unterschiedlicher Formate lassen sich so direkt vergleichen. Ein Videoclip lässt sich etwa mit einer Sprachnotiz oder einem Textsuchbegriff abgleichen.

Neu ist vor allem die Erweiterung über Text hinaus. Im Blogbeitrag spricht Google von „expanding beyond text“. Dass das erste EmbeddingGemma rein textbasiert war, lässt sich dem Material nur indirekt entnehmen. Für das erste Modell nennt Google mehr als 20 Millionen Downloads.

Laut Modellkarte steigt die Leistung bei Code-Aufgaben um rund 14 Prozent gegenüber dem Vorgänger. Das Modell versteht mehr als 100 Sprachen und verarbeitet einen Kontext von 8K Token.

740 Millionen Parameter, Vision- und Audio-Encoder einzeln ladbar

Insgesamt umfasst das Modell 740 Millionen Parameter. Den Kern bildet ein Textmodell mit 270 Millionen Parametern: 130 Millionen entfallen auf den Transformer, 140 Millionen auf den Embedder. Hinzu kommen ein Vision-Encoder mit 170 Millionen und ein Audio-Encoder mit 300 Millionen Parametern. Beide Encoder sind modular angelegt. Entwickler laden nur die Modalitäten, die sie brauchen. Reine Text- und Code-Anwendungen kommen damit auf 270 Millionen Parameter.

Die Einbettungen lassen sich per Matryoshka-Verfahren nativ auf 128, 256, 512 oder 768 Dimensionen kürzen. Laut Modellkarte sinkt der Speicherbedarf für Vektoren dadurch um bis zu das Sechsfache, bei geringem Qualitätsverlust. Das Paper nennt außerdem einstellbare Vision-Token-Budgets und quantisierte Gewichte. Audio verarbeitet das Modell laut DeepMind-Seite bis zu 5,5 Minuten lang.

Ein Reddit-Nutzer nennt 440 Millionen Parameter für Text und Vision. Das dürfte kein Widerspruch sein: 270 plus 170 Millionen ergibt 440 Millionen. Demnach wäre die Konfiguration ohne Audio-Encoder gemeint. Das ist eine Schlussfolgerung aus den Zahlen und nicht belegt.

Pareto-Front und „best-in-class“: Die Leistungsangaben stammen bislang allein von Google

Die Qualitätsaussagen kommen ausschließlich vom Unternehmen. Demnach setzt EmbeddingGemma 2 eine neue Pareto-Front. Es übertrifft Spezialmodelle sowie Modelle, die zwei- bis zwölfmal so groß sind. Im Blog heißt es, das Modell sei „best-in-class“ unter multimodalen Embeddern mit weniger als einer Milliarde Parametern, unter anderem auf MTEB Code und MAEB. Ob unabhängige Tests das bestätigen, ist offen. Prüfen lässt sich das anhand der Benchmark-Tabellen im Tech Report, in Leaderboards und durch eigene Nachmessungen gegen Baselines wie Qwen3-VL-Embedding, Jina v4 oder Gemini Embedding.

Nutzbar ist das Modell schon jetzt. Die Verwendung aller Modalitäten ist über sentence-transformers ab Version 6.1.0 dokumentiert. Zudem ist es bei Ollama gelistet. Nach Einschätzung der Redaktion könnten vor allem On-Device-Suche und RAG-Systeme profitieren, die bislang getrennte Pipelines für Spracherkennung und Bildbeschreibung nutzen. Das Paper nennt genau diese zusätzlichen Werkzeuge als Kostentreiber. Zu Migrationsaufwand und Praxistauglichkeit liefert das vorliegende Material keine belastbaren Angaben.