KI SpotlightNewsKling erklärt Videoqualität zur Projektion multimodalen Verständnisses
In einem Herstellerbericht beschreibt das Kling-Team von Kuaishou, wie Captioning, Prompt Enhancement, Text-Encoder und Reward-Modeling zusammenhängen. Belastbare Zahlen fehlen bislang.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Der Bericht „Behind Video Generation“ zu Kling ist auf arXiv und Hugging Face Papers gelistet.
- Kling-MLLM ist ein gemeinsames multimodales Fundamentmodell für Bild, Video, Audio und verschachtelte Eingaben.
- Kling behandelt Captioning als semantischen Vertrag mit maximierter Beschreibungsdichte.
- Prompt Enhancement gibt es als Basis-PE mit Reinforcement Learning und als agentisches PE.
- Der Hersteller behauptet, ein zuverlässiger Text-Encoder entstehe durch perzeptuelles Training, nicht durch Sprachfähigkeit.
Kling erklärt Videoqualität zur Projektion multimodalen Verständnisses
Das Kling-Team von Kuaishou hat den Bericht „Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling“ veröffentlicht. Zu finden ist er auf arXiv in der Kategorie Computer Vision and Pattern Recognition sowie bei Hugging Face Papers. Es handelt sich um einen Preprint des Herstellers. Ein Peer Review hat nicht stattgefunden. Vorliegen konnte uns nur der Abstract, nicht der Volltext.
Die Kernthese lautet: Generierungsqualität ist die Projektion multimodalen Verständnisses. Sie entsteht entlang der gesamten Kette aus Daten, Konditionierung, Alignment und Evaluation. Nach eigenen Angaben stützt sich der Bericht auf Beobachtungen aus aufeinanderfolgenden Kling-Generationen und prüft die Kette Modul für Modul. Laut Abstract verschiebe sich der Engpass der Videogenerierung vom Rendering zur semantischen Steuerung.
Kling-MLLM, dichte Captions und zwei Formen des Prompt Enhancement
Im Zentrum steht laut Abstract Kling-MLLM. Das Modell ist ein gemeinsames multimodales Fundamentmodell für Bild, Video, Audio, synchronisiertes Audio-Video und verschachtelte Eingaben. Für jedes nachgelagerte Modul werde es spezialisiert.
Captioning behandelt Kling nach eigenen Angaben als „semantischen Vertrag“, der die Beschreibungsdichte maximiert. Die Begründung lautet: Ein DiT wird mit deutlich weniger Trainingsbeispielen trainiert als ein Sprachmodell. Deshalb muss jedes Beispiel möglichst viel Information tragen. Dieses Konzept erweitert der Hersteller um referenzgestütztes Captioning, das Referenzbindungen explizit macht.
Prompt Enhancement übersetzt laut Abstract die Nutzerabsicht in die Verteilung dieser Captions. Das Basis-PE leitet sich aus Captions überzeugender Videos ab. Per Reinforcement Learning auf Textebene wird es verfeinert, wobei der Generator in der Schleife bleibt. Das agentische PE verfeinert die Geschichte und ruft überzeugende Beispiele ab.
Beim Text-Encoder behauptet der Hersteller, Zuverlässigkeit entstehe durch perzeptuelles Training und nicht durch stärkere Sprachfähigkeit. Der vorliegende Abstract bricht an dieser Stelle ab. Weitere Details fehlen. Alle genannten Punkte sind Herstellerangaben.
Offen bleiben Zahlen, Ablationen und unabhängige Überprüfung
Konkrete Zahlen, Ablationen oder Vergleichswerte enthält der Bericht laut vorliegendem Abstract nicht. Ob die Einzelergebnisse neu sind, lässt sich deshalb nicht beurteilen. Einen Abgleich mit früheren Kling-Meldungen konnten wir mangels Archivtreffern nicht vornehmen.
Die These, dass die Kette aus Kling-MLLM, Captioning, Text-Encoding, Reward-Modeling und Evaluation die kontrollierbare Videogenerierung verbessert, bleibt eine Herstellerangabe. Prüfen ließe sie sich über den Volltext, eine Reproduktion oder einen Vergleich mit anderen Modellen.
Evaluation und Reward-Modeling sind ein offenes Feld. Öffentliche Arbeiten dazu sind unter anderem VBench, VideoReward und IsoVRBench. Laut Abstract von IsoVRBench trennen aktuelle Reward-Modelle breite Qualitätsunterschiede zwischen Generatoren. Merkmale wie die zeitliche Reihenfolge verfehlen sie jedoch. Ein Urteil über den Kling-Bericht folgt daraus nicht.
