OpenVLHarness gibt unveränderten Multimodal-Modellen neun Werkzeuge und einen Speicher

Neun Werkzeuge und ein adressierbarer Speicher für unveränderte Modelle

OpenVLHarness rüstet multimodale Sprachmodelle mit neun Fähigkeiten aus, die über native Tool-Aufrufe laufen: visuelles Grounding, OCR, Tiefenschätzung, Kameratrajektorie, Zoom, Text- und Bildsuche, Webseitenbesuche und ein Python-Coding-Agent. Trainingsfrei heißt: Die vorhandenen Gewichte des Modells bleiben unangetastet und werden nicht feinjustiert.

Laut Paper besteht das System aus zwei Teilen. Der Capability Layer übersetzt Werkzeugausgaben per Evidence Rendering in Beobachtungen, die das Modell lesen kann. Ein persistenter Speicher legt Bilder, strukturierte Daten und Web-Referenzen pro Anfrage als adressierbare Artefakte ab. Ein Coding-Interface führt generierte Programme über diese Daten aus und verrechnet so die Ergebnisse mehrerer Tools. Den Orchestrator stellt ein OpenAI-Modell oder ein kompatibler Endpoint mit Tool-Calling. Er steuert die Werkzeuge und schreibt den Code.

Als Urheber tritt die GitHub-Organisation uclanlp auf, vermutlich die UCLA-NLP-Gruppe. Autorennamen und eine mögliche Firmenbeteiligung nennt das Material nicht.

Bis zu 12,6 Punkte Gewinn, offen bleibt die Zahl der Modelle

Die folgenden Ergebnisse sind Angaben der Autoren. Laut README gewinnen die getesteten Backbones über 22 Benchmarks in vier Domänen im Mittel 9,7 bis 12,6 Punkte gegenüber denselben Modellen ohne Tools. Das README nennt sieben Backbones. Die Projektseite gibt dieselbe Spanne für sechs an; GPT-6 Sol und Kimi K3 stehen dort separat im Anhang. Welche Zählung stimmt, lässt sich mit dem Material nicht entscheiden. Vermutlich unterscheiden sich Hauptteil und Anhang. Nur der Paper-Volltext könnte das klären.

Im Vergleich mit anderen Harnesses nennt die Projektseite für GPT-6 Luna im Mittel über die 22 Benchmarks folgende Werte: Base 45,8, Visual Sketchpad 45,6, Codex 43,8, OpenVLHarness 56,5. Für Qwen2.5-VL-7B erreicht OpenVLHarness mit Originalgewichten 33,5. Die Vergleichswerte liegen bei 25,3 (AdaReasoner), 28,0 (PixelReasoner) und 25,0 (DeepEyesV2). Diese drei sind auf Tool-Nutzung feinjustiert. Einen Base-Wert für Qwen2.5-VL-7B nennt der Auszug nicht. Mit GPT-6 Astra verbessern sich alle 22 Benchmarks.

Zur Methodik: Die Qwen3-VL-Werte sind Mittel aus drei Läufen. GPT-6 und Kimi K3 liefen je einmal. GPT-6 arbeitete mit mittlerem, Kimi K3 mit maximalem Reasoning-Effort. Laut Abstract bringt mehr Inferenzbudget allein nur moderate Gewinne. Konkrete Zahlen und das variierte Setup fehlen im vorliegenden Material. Eine unabhängige Reproduktion nennt das Material nicht.

MIT-Lizenz mit SAM-Ausnahme und Presets für sieben Backbones

Das Repository uclanlp/OpenVLHarness steht unter MIT-Lizenz. Ausgenommen sind die SAM-3-Visualisierungshelfer, die unter der SAM License laufen. Teile des Evaluationskits stammen aus VLMEvalKit (Apache 2.0), MM-BrowseComp (MIT) und Vision-DeepResearch (MIT) und sind angepasst. Presets existieren für sieben der acht Backbones im Paper: alle Qwen3-VL-Instruct-Größen sowie OpenAI-Modelle von GPT-5 bis GPT-6.1. Die Demo läuft mit Agent-Loop und Wahrnehmungstools auf dem Server der Autoren.

Belege für den Einsatz in Produkten fehlen. Unabhängige Benchmarks wie MM-ToolSandBox und InterLV-Search, in denen die besten Modelle unter 50 Prozent liegen, testen OpenVLHarness nicht.