SenseNova-U1.5-8B-MoT: Open-Source-Modell vereint Verstehen und Generieren ohne Encoder und VAE

Open-Source-Release: SenseNova-U1.5-8B-MoT offiziell veröffentlicht

Am 20. August 2026 hat das SenseNova-Team die offizielle Version von SenseNova-U1.5-8B-MoT veröffentlicht. Das Modell steht auf Hugging Face und im offiziellen GitHub-Repository unter der Apache-2.0-Lizenz bereit. Es handelt sich um ein 8 Milliarden Parameter großes Modell mit Mixture-of-Transformers-Architektur (MoT). Bereits am 31. Juli 2026 war eine Preview-Version erschienen; die jetzt veröffentlichte Produktionsversion bringt nach Angaben des Herstellers deutliche Verbesserungen gegenüber dem Vorgänger SenseNova-U1 und der Preview. Dazu zählen höhere Bildtreue, besseres Textrendering in Chinesisch und Englisch, komplexere Komposition, zuverlässigere Bearbeitung mit mehreren Referenzbildern, verschachtelte Generierung, stärkere Befolgung komplexer Instruktionen, präzisere visuelle Kontrolle und effizientere native 4K-Generierung. Neben dem Basis-Checkpoint wurde auch eine LoRA-Variante für schnellere Inferenz veröffentlicht. Der Hersteller kündigt außerdem die Veröffentlichung des technischen Berichts und der vollständigen Trainingspipeline an, von Supervised Fine-Tuning über Reinforcement Learning bis zu Multi-Expert On-Policy Distillation. Ein technischer Bericht ist auf arXiv verfügbar, eine Dokumentation auf Hugging Face. Die offizielle Freigabe unter einer permissiven Lizenz markiert den Übergang von der Preview zur vollständigen Open-Source-Veröffentlichung. Der Changelog vom 20. August 2026 bestätigt, dass die Verbesserungen gegenüber der Preview insbesondere die Instruktionsbefolgung, Text und Layout, native 4K-Generierung, Bildbearbeitung und visuelle Kontrolle betreffen. SenseNova-U1.5-8B-MoT ist ein offenes Modell mit 8 Mrd. Parametern, das native 4K-Generierung und weitere Funktionen bietet.

Architektur ohne Encoder und VAE: Ein Modell für Verstehen und Generieren

Laut Hersteller basiert SenseNova-U1.5 auf der NEO-unify-Architektur und verzichtet vollständig auf separate Encoder und Variational Autoencoder (VAE). In herkömmlichen multimodalen Systemen werden Bilder meist über einen Vision-Encoder in semantische Tokens umgewandelt und für die Generierung über einen VAE rekonstruiert. Laut Hersteller ersetzt SenseNova-U1.5 diese getrennten Pfade durch eine einheitliche Patch-Repräsentation: Das Modell arbeitet direkt auf räumlich kohärenten Patches, die sowohl für das Verstehen als auch für das Erzeugen von Bildern genutzt werden. Dadurch entfällt die Notwendigkeit, zwischen unterschiedlichen Repräsentationsräumen zu übersetzen. Der Hersteller beschreibt den Ansatz als encoder-frei und VAE-frei. Visuelles Verstehen, logisches Denken und Bildgenerierung laufen in einem einzigen Modell ab, ohne dass ein Router zwischen spezialisierten Komponenten vermittelt. Laut Hersteller geht die Architektur auf das NEO-unify-Konzept zurück, das bereits im Vorgängermodell SenseNova-U1 eingeführt wurde. Laut Hersteller wurden für U1.5 die Patchify-Schichten, die Datenqualität und -verteilung, die Aufgabenformulierung sowie die Prompt-Anreicherung überarbeitet.

Wie ermöglicht diese Architektur logisches Denken? Der Schlüssel liegt in der räumlich kohärenten Patch-Rekonstruktion. Anstatt Bilder in abstrakte semantische Tokens zu komprimieren, die feine Details verlieren, behält das Modell eine patch-basierte Repräsentation bei, die sowohl semantische als auch pixelnahe Informationen enthält. Dadurch kann das Modell über visuelle Inhalte nachdenken, ohne sie erst in Text umwandeln zu müssen. Die einheitliche Repräsentation verhindert, dass feine visuelle Details bei der Umwandlung in semantische Tokens verloren gehen – ein Problem, das bei getrennten Encoder-Decoder-Architekturen auftritt. Stattdessen bleiben Informationen für die Bildrekonstruktion und -generierung erhalten, während gleichzeitig multimodales Verstehen möglich bleibt. Die Synergie entsteht durch gemeinsame Patch-Embedding-Schichten, die sowohl semantische als auch pixelnahe Informationen kodieren, und durch die Multi-Expert On-Policy Distillation, die spezialisierte Fähigkeiten in das Hauptmodell zurückführt. Der Hersteller betont, dass Verstehen und Generieren als synergistische Ansichten eines einzigen zugrunde liegenden Prozesses ablaufen. Das Modell kann daher eine visuelle Frage beantworten, eine logische Schlussfolgerung über ein Bild ziehen und anschließend ein neues Bild generieren, das auf dieser Schlussfolgerung basiert – alles innerhalb desselben Vorwärtsdurchlaufs. Die Patch-Repräsentation dient als gemeinsame Schnittstelle für Text- und Bildpfade, sodass die Mixture-of-Transformers-Experten über ein geteiltes Wissen verfügen, ohne dass ein separater VAE die Pixel rekonstruieren muss.

Verbesserungen im Detail: Bildtreue, Textrendering und native 4K-Effizienz

Die offizielle Version von SenseNova-U1.5-8B-MoT verbessert nach Herstellerangaben sechs Bereiche. Die Bildqualität steigt durch bessere Komposition, Farbharmonie, realistischere Materialdarstellung, natürliche Beleuchtung und feinere lokale Details. Das Textrendering in Chinesisch und Englisch wird lesbarer, insbesondere in Postern, Infografiken und Markenmaterialien; die Informationshierarchie in textlastigen Designs ist klarer. Die native 4K-Generierung arbeitet effizienter und erhält globale Struktur, Farbharmonie und stabile Ausgabe bei hoher Auflösung. Bei der Bildbearbeitung bleiben Subjektidentität und unbearbeitete Bereiche besser erhalten – über lokale, textbasierte, multi-referenzielle, einfügende und ersetzende Bearbeitungen hinweg. Komplexe Instruktionen mit Objektanzahl, räumlichen Beziehungen, Layouts, Stilen und mehreren Einschränkungen werden konsistenter umgesetzt. Die visuelle Kontrolle über Begrenzungsrahmen, visuelle Marker und einzelne oder mehrere Referenzbilder ist präziser. Auch die verschachtelte Generierung von Text und Bild in einem Durchgang wird als verbessert beschrieben.

Diese Verbesserungen sind das Ergebnis konkreter technischer Maßnahmen. Erstens wurde das Training mit sorgfältig kuratierten Generierungs- und Bearbeitungsdaten skaliert. Für die Bildtreue bedeutet das: Der Hersteller filterte und synthetisierte Bearbeitungsdaten für Einzel- und Mehrfachreferenz-Szenarien, wodurch das Modell lernt, Subjektidentität und unbearbeitete Regionen zu bewahren. Zweitens wurde die Aufgabenformulierung verbessert, sodass komplexe Instruktionen mit mehreren Einschränkungen präziser in Modelloperationen übersetzt werden. Drittens kam eine strukturelle Prompt-Anreicherung zum Einsatz, die es dem Modell erlaubt, lange, komplexe und strukturierte visuelle Anweisungen zu verarbeiten – etwa für Layouts, Objektanzahl und räumliche Beziehungen. Viertens wurden native Auflösungen von bis zu 4K direkt in das Training integriert, wodurch die 4K-Generierung ohne nachgeschaltete Upscaler effizienter wird. Fünftens optimierte das Post-Training spezialisierte Experten: für visuelle Ästhetik, zweisprachiges Textrendering, Infografik-Generierung und Bildbearbeitung. Diese Experten wurden anschließend durch Multi-Expert On-Policy Distillation in ein einziges Modell konsolidiert. Das bedeutet: Die Fähigkeiten der einzelnen Experten werden durch On-Policy-Distillation auf das Hauptmodell übertragen, sodass zur Inferenzzeit kein Router benötigt wird. Die verbesserte Textdarstellung resultiert direkt aus dem Experten für zweisprachiges Textrendering, die präzisere visuelle Kontrolle aus dem Experten für Bildbearbeitung in Kombination mit struktureller Prompt-Anreicherung.

Community-Reaktionen: Quantisierte Checkpoints und ComfyUI-Integrationen

Die Community hat das Modell schnell für lokale Nutzung angepasst. Bereits zur Preview-Version stellten Mitglieder quantisierte GGUF-Checkpoints bereit; nach der offiziellen Veröffentlichung folgten weitere, darunter ein Q8-Checkpoint mit 21,2 Gigabyte. In Foren berichten Nutzer von Quantisierungen, die das Modell auf Grafikkarten mit 12 Gigabyte VRAM lauffähig machen, etwa durch INT8- und hybride W4A8-ConvRot-Verfahren. Für ComfyUI existiert ein Custom Node (Version 0.2.0), der Text-zu-Bild-Generierung sowie Bildbearbeitung mit einzelnen und mehreren Referenzbildern unterstützt; der Spitzenbedarf liegt bei etwa 17 Gigabyte VRAM. Diese Beiträge senken die Einstiegshürde: Das Modell lässt sich ohne Cloud-Dienst auf handelsüblicher Hardware betreiben, was für Entwickler und Content-Ersteller relevant ist, die ihre Arbeitsabläufe lokal kontrollieren wollen. Die offizielle ComfyUI-SenseNova-U1-Node-Packung (v0.3.0) unterstützt die Vollversion lokal, einschließlich Text-zu-Bild, Einzel- und Mehrfachbild-Bearbeitung mit bis zu 10 geordneten Referenzbildern sowie beschleunigten LoRA-Adaptern.

Open Source als Strategie: Druck auf geschlossene Anbieter und Vorteile für Entwickler

Die Veröffentlichung unter Apache-2.0-Lizenz erlaubt kommerzielle Nutzung, Modifikation und Einbettung in eigene Werkzeuge. Das setzt Anbieter geschlossener, abonnementbasierter Bildmodelle unter Druck: Wer bisher pro Bild oder über Subscription bezahlt, kann nun ein Modell mit vergleichbaren Fähigkeiten lokal betreiben und anpassen. Ein Leitfaden zur Veröffentlichung formuliert: „After weeks of headlines dominated by closed, subscription-rented models, this release puts the other option back on the table: owning your visual tooling.“ Ein Blogbeitrag betont: „This is not another incremental update. SenseNova U1.5 is the first open-source model that produces actual 4K output without an upscaler stapled on after the fact. That alone changes what becomes possible for designers, developers, and anyone who has been paying per image for closed-source generation.“ Für Entwickler entfallen Lizenzkosten und Abhängigkeiten von APIs; sie können das Modell in eigene Anwendungen integrieren, auf spezifische Aufgaben feinabstimmen und die Trainingspipeline nachvollziehen, sobald der angekündigte Code verfügbar ist. Die zugrunde liegende Forschung zu einheitlichen visuellen Repräsentationen ist öffentlich dokumentiert, was die Reproduzierbarkeit erhöht. SenseTime positioniert U1.5 zudem innerhalb eines breiteren Portfolios aus Agenten- und Lite-Modellen, was darauf hindeutet, dass offene Gewichte nicht im Widerspruch zu kommerziellen Angeboten stehen, sondern als Strategie zur Verbreitung der Architektur dienen.