HiSTEVE 1.0: Minecraft-Agent plant per Sprachmodell und steuert per Tastatur und Maus

Minecraft-Agent plant mit Sprachmodell und steuert nur über Bild, Tastatur und Maus

Unter dem Titel „HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games“ ist ein Paper auf arXiv erschienen. Auch Hugging Face und hyper.ai listen es. Als Projektseite nennen die Autoren ein GitHub-Repository unter github.com/Andytonglove/HiSTEVE-1.0.

Nach Beschreibung der Autoren besteht HiSTEVE aus zwei Stufen. Ein Vision-Language-Modell übernimmt die Planung. Es wählt Teilaufgaben aus und greift dafür auf ein strukturiertes Gedächtnis zu, das den Fortschritt festhält. Ausgeführt werden die Teilaufgaben von einem einzigen Vision-Language-Action-Modell (VLA). Es arbeitet rein visuell und sendet native Tastatur- und Mausaktionen. Umgebungs-APIs oder vordefinierte Skills kommen nicht zum Einsatz. Die Autoren verstehen das als Verbindung von Langzeitautonomie und nativer Interface-Steuerung.

Am 27. Oktober 2026 stand das Paper auf Platz 3 des wöchentlichen Trendings auf Hugging Face. Das belegt Aufmerksamkeit. Über die Qualität der Arbeit sagt es nichts.

Abschlussdetektor und getrennte Mausbewegungs-Embeddings als technische Neuerungen

Laut Abstract besteht die Neuerung aus mehreren Bausteinen. Eine „Capability-aware Harness“ begrenzt den Planer auf Teilaufgaben, die im Fähigkeitsbereich des VLA liegen. Ein policy-gekoppelter Detektor soll feststellen, ob eine Teilaufgabe erledigt ist. Dazu stützt er sich auf den Kontext der VLA-Policy und meldet Kandidaten für den Abschluss.

Gegen Interferenzen zwischen GUI- und Nicht-GUI-Interaktionen setzen die Autoren regimespezifische RMSNorm-Zweige ein. Mausbewegungs-Token erhalten zudem eigene Embeddings. Trainiert wird das VLA mit World-Knowledge-Injection, Imitation Learning und Reinforcement Learning. Der Abstract bricht an dieser Stelle ab. Angaben zu Architektur oder Trainingsdaten fehlen deshalb.

Ob HiSTEVE JARVIS-VLA und JARVIS-1 übertrifft, zeigt das Material nicht

Als Vorläufer nennt das Material drei Arbeiten. JARVIS-VLA (ACL 2025) bewältigt über 1.000 atomare Minecraft-Aufgaben. Laut Paper soll es rund 40 Prozent besser abschneiden als die beste Baseline. JARVIS-1 nutzt ein multimodales Gedächtnis, löst über 200 Aufgaben und reicht bis zur Diamantspitzhacke. VPT trainierte auf YouTube-Videos. Mit „ObtainDiamond“ gilt es als erfolgreich.

Dass HiSTEVE eine Lücke schließt, behaupten die Autoren selbst. Dasselbe gilt für die Wertung „human-like“ in einer Kurzmeldung zum Paper. Erfolgsraten, Vergleichsbaselines und Episodendauer liefert das Material nicht. Ein Leistungsvergleich ist deshalb nicht möglich. Prüfen lässt sich das im Ergebnisteil des Papers und im veröffentlichten Code.