NeoMME: Multimodaler Encoder ohne Vision-Tower vorgestellt

NeoMME: Multimodaler Encoder ohne Vision-Tower

H Company hat mit NeoMME eine neue Familie multimodaler, mehrsprachiger Encoder vorgestellt, die in zwei Größen – 260 Millionen und 800 Millionen Parameter – verfügbar ist. Anders als viele generative Vision-Language-Modelle, die typischerweise einen separat vortrainierten Vision-Encoder mit einem kausalen Sprachmodell kombinieren, setzt NeoMME auf einen einzigen bidirektionalen Transformer, der sowohl Text-Token als auch rohe Bild-Patches gemeinsam verarbeitet. Dieser Architekturansatz verzichtet bewusst auf einen separaten Vision-Tower und ein kausales Sprachmodell, da Aufgaben wie Retrieval, Klassifikation oder Token-Labeling keine autoregressive Textgenerierung erfordern und daher den Parameter- und Rechenaufwand eines Decoders nicht benötigen. Statt Bildmerkmale aus einem externen Vision-Encoder zu beziehen, werden die rohen Bild-Patches direkt als Eingabe für den Transformer verwendet, was eine native multimodale Verarbeitung ermöglicht. Beide Modellgrößen wurden von Grund auf mit einem maskierten diskreten Diffusions-Text-Objective vortrainiert, das bei multimodalen Beispielen auf die sichtbaren Bild-Patches konditioniert ist. Die Kontextlänge beträgt 16.384 Token, was ausreicht, um bis zu zwei Standard-4K-UHD-Bilder zu kodieren. NeoMME basiert nicht auf bestehenden vortrainierten Vision- oder Text-Encodern, sondern wurde als eigenständige Architektur entwickelt, die sich von früheren Ansätzen wie ModernBERT oder ModernVBERT abgrenzt, indem sie den Overhead einer Vision-Language-Model-Komponente vollständig entfernt.

Benchmarks und Effizienz: 51 Seiten pro Sekunde, 255× kleinere Indizes

Für die visuelle Dokumentensuche feinabgestimmt, erreicht NeoMME-Retriever 260M auf dem ViDoRe-v3-Benchmark 0,523 nDCG@10 und übertrifft damit alle evaluierten Modelle mit strikt unter 800 Millionen Parametern. Die 800M-Variante kommt auf 0,556. Beide Modellgrößen liegen auf der Pareto-Frontier für nDCG@10 und Modellgröße. Bei einer Bildgröße von 2048×2048 Pixeln auf einer NVIDIA L40S kodiert das 260M-Modell etwa 51 Seiten pro Sekunde, rund doppelt so schnell wie ColModernVBERT. Diese höhere Durchsatzrate resultiert aus der Architektur: Da NeoMME ohne separaten Vision-Tower und ohne kausalen Decoder auskommt, entfallen die zusätzlichen Vorwärtsdurchläufe und Parameter, die bei generativen Vision-Language-Modellen für die Merkmalsextraktion und autoregressive Verarbeitung anfallen. Zudem liefert der feinabgestimmte Retriever dichte und Late-Interaction-Embeddings in einem einzigen Vorwärtsdurchlauf, was die Inferenz weiter beschleunigt. Für die Speicherung der Late-Interaction-Indizes setzt NeoMME auf hierarchisches Token-Pooling und asymmetrische Quantisierung. Das hierarchische Pooling reduziert die Anzahl der pro Seite gespeicherten Token-Embeddings, indem ähnliche Vektoren auf mehreren Ebenen zusammengefasst werden. Die asymmetrische Quantisierung verringert die Bitbreite der gespeicherten Werte, wobei für Abfrage- und Dokument-Embeddings unterschiedliche Präzisionen verwendet werden. Dadurch sinkt der Index-Speicherbedarf von etwa 1,5 Megabyte auf 6 Kilobyte pro Seite – eine Reduktion um den Faktor 255 –, während mehr als 95 Prozent des Baseline-nDCG@10 erhalten bleiben.

Verfügbarkeit und Lizenz: Apache-2.0, Hugging Face Integration

Alle Modell-Checkpoints – sowohl die vortrainierten Backbones als auch die Retrieval-Varianten – sind unter der Apache-2.0-Lizenz veröffentlicht und in der NeoMME-Sammlung auf Hugging Face verfügbar. Die Integration in Hugging Face Transformers erfolgte am 31. August 2026, die offizielle Veröffentlichung durch H Company am 3. September 2026. Nutzer können die Modelle direkt über die Transformers-Bibliothek laden, beispielsweise mit folgendem Code:

```python

from transformers import AutoModel, AutoProcessor

model_id = "Hcompany/NeoMME-260M"

processor = AutoProcessor.from_pretrained(model_id)

model = AutoModel.from_pretrained(model_id, device_map="auto")

```

Der Processor verarbeitet sowohl Text als auch Bilder, und das Modell erzeugt in einem Vorwärtsdurchlauf sowohl dichte Embeddings (für Kosinus-Ähnlichkeit) als auch Multi-Vektor-Embeddings für Late-Interaction-Scoring mittels MeanMaxSim. Alternativ steht die Nutzung über Sentence Transformers zur Verfügung, was die Einbettung von Texten und Dokumenten (als Text oder Seiten-Screenshots) vereinfacht. Die feinabgestimmte NeoMME-Retriever-Variante nimmt Textanfragen und Dokumente entgegen und liefert die entsprechenden Embeddings für die visuelle Dokumentensuche.