KI SpotlightNewsNeue Zeichnung des Rätsels wirkt stärker als ein umformulierter Prompt
Eine Zusammenfassung einer EMNLP-2026-Studie führt die Genauigkeit von Vision-Language-Modellen bei SPaRC stärker auf das Bild als auf den Text zurück. Die Originalpublikation liegt nicht vor. Ein Befund aus dem Projekt Spatial-Gym weist in die Gegenrichtung.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Menschen lösen 98,0 % der SPaRC-Rätsel, schwere Rätsel zu 94,5 %.
- Das beste getestete Modell o4-mini löst 15,8 % der Rätsel, schwere nur 1,1 %.
- Bei über 50 % der Rätsel liefert o4-mini ungültige Pfade.
- SPaRC mit 1.000 2D-Grid-Pfadfindungsrätseln wurde auf der EMNLP 2025 veröffentlicht.
- Modelle skalieren Test-Time-Compute nicht mit der Schwierigkeit der Rätsel.
Eine neue Zeichnung des Rätsels bringt mehr als ein umformulierter Prompt
Scheitern Vision-Language-Modelle an visuellen Rätseln, liegt der Fehler womöglich im Eingabebild und nicht im Prompt. So lautet der Befund, den die Plattform hyper.ai in einer Zusammenfassung wiedergibt. Die Studie soll auf der EMNLP 2026 vorgestellt worden sein. Gegenstand ist der Benchmark SPaRC, eine Sammlung von Grid-Pfadfindungsrätseln nach dem Spiel The Witness.
Laut dieser Zusammenfassung verschob das Umschreiben des Textprompts die Genauigkeit der Modelle nur um wenige Prozentpunkte. Eine andere Zeichnung desselben Rätsels brachte deutlich größere Gewinne. Einzelne Modelle sollen von niedriger einstelliger oder niedriger zweistelliger Genauigkeit auf mehr als 40 Prozent gestiegen sein. Welche Modelle das waren, nennt die Zusammenfassung nicht.
Die Originalpublikation liegt der Redaktion nicht vor. Die 40-Prozent-Zahl und alle übrigen Aussagen zur Studie stammen aus dieser einen Sekundärquelle und einem Hinweis auf der SPaRC-Projektseite. Eine eigene Prüfung von Zahlen oder Methodik ist deshalb nicht möglich. Aus dem Ergebnis leitet die Zusammenfassung die Empfehlung ab, zuerst zu prüfen und gegebenenfalls anzupassen, was das Modell sieht, bevor der Prompt umgeschrieben wird.
Annotationen helfen nur, wenn sie konkrete Lesefehler beheben
Nicht jede Bildänderung wirkt gleich. Laut hyper.ai helfen Annotationen, die bestimmte visuelle Lesefehler beheben und das Bild an die Sprache der Aufgabe angleichen, etwa an Begriffe wie Start, Exit und Koordinaten. Das Beschriften sämtlicher Merkmale brachte demnach nichts. Es konnte die Leistung sogar verschlechtern.
Bestätigt sich der Befund, könnte die Bildvorverarbeitung für Entwickler räumlicher VLM-Anwendungen Vorrang vor dem Feilen an Prompts bekommen. Konkrete Produktempfehlungen lassen sich aus der dünnen Quellenlage allerdings nicht ableiten.
Ein Befund aus Spatial-Gym zeigt in die Gegenrichtung, die Einordnung bleibt offen
SPaRC ist älter als die neue Studie. Lars Benedikt Kaesberg, Jan Philip Wahle, Terry Ruas und Bela Gipp stellten den Benchmark mit 1.000 Rätseln bei der EMNLP 2025 vor. Im Originalpaper lösen Menschen 98,0 Prozent der Aufgaben, das beste getestete Modell o4-mini 15,8 Prozent. Die Projektseite verweist auf zwei Beiträge bei Towards Data Science. Dass die Forschenden der 2026er Studie SPaRC „introduced“ hätten, wie es bei hyper.ai heißt, ist demnach vermutlich ungenau. Belegt ist das nicht. Ebenso wenig ist geklärt, ob die Autoren dieselben sind.
Spatial-Gym nutzt die SPaRC-Rätsel als Schritt-für-Schritt-Umgebung für Agenten. Das Projekt berichtet, dass ein Bild des Spielfelds statt Text die Lösungsrate von Vision-Modellen um 73 Prozent senkt. Das läuft dem Befund der EMNLP-Zusammenfassung entgegen.
Beide Ergebnisse sind vermutlich nicht direkt vergleichbar. Spatial-Gym arbeitet mit einer Schritt-für-Schritt-Umgebung, einem einfachen Bild und anderen Modellen. Die EMNLP-Studie verwendet laut Zusammenfassung gezielt annotierte Bilder. Ob das den Unterschied erklärt, lässt das vorliegende Material offen.
