Vercel Labs veröffentlicht agent-desktop 1.0.2 für Desktop-Automatisierung per Accessibility-Baum

agent-desktop 1.0.2 bedient Desktop-Apps über den Accessibility-Baum statt per Screenshot

Vercel Labs hat agent-desktop in Version 1.0.2 veröffentlicht. Den Termin nennt der Fachbericht mit dem 30. Oktober. Das Werkzeug ist eine Rust-CLI mit einer C-Bibliothek und steht laut demselben Bericht unter der Apache-2.0-Lizenz. Agenten lesen damit Anwendungen über die Accessibility-Bäume des Betriebssystems aus. Screenshots oder Pixelabgleich sind nach der README nicht nötig.

Die neuere README nennt macOS, Windows und Linux als unterstützte Plattformen. Eine ältere Fassung führt dagegen noch „Rust 1.78+ and macOS 13.0+“ als Voraussetzung für den Build aus dem Quellcode an. Vermutlich handelt es sich um verschiedene Stände derselben README. Belegt ist das im Material nicht. Die ältere Fassung verweist außerdem auf ein Repository unter dem Konto lahfir. Der Fachbericht spricht dagegen von einem späteren Wechsel zu Vercel Labs. Agent-desktop enthält kein Modell. Ein Agent steuert das Werkzeug über Shell-Befehle.

Snapshot liefert JSON mit Referenzen wie @e1, der Agent handelt und prüft per neuem Snapshot

Der Ablauf hat zwei Stufen. Ein Snapshot liefert JSON mit einer Referenz für jedes bedienbare Element, etwa @e1 oder @e2. Der Agent führt seine Aktion auf einer dieser Referenzen aus. Danach holt er einen neuen Snapshot, um das Ergebnis zu prüfen. Beobachten, Entscheiden und Handeln liegen damit beim Agenten, nicht beim Werkzeug.

Installiert wird per `npm install -g agent-desktop` oder ohne Installation per npx. Die neuere README nennt zusätzlich Pakete für Homebrew und Scoop. Binaries gibt es für x64 und ARM64. Die ältere README spricht von 54 Befehlen sowie einer C-ABI-Bibliothek für Python, Swift, Go, Ruby, Node und C. Für „Progressive skeleton traversal“ gibt der Hersteller bei dichten Apps eine Token-Reduktion von 78 bis 96 Prozent an. Eine Vergleichsbasis nennt er nicht. Die Zahl ist also eine ungeprüfte Herstellerangabe.

Das Versprechen „keine Fokus- und Cursor-Eingriffe“ ist bislang nur Herstellerangabe

Die README bezeichnet Ref-Aktionen als „headless-by-default“. Sie nutzten Accessibility-APIs und blockierten stilles Fokus-, Cursor-, Tastatur- und Pasteboard-Verhalten. Das ist die Darstellung des Herstellers. Unabhängige Tests, die etwa belegen, dass der Mauszeiger unberührt bleibt, liegen im Material nicht vor. Dasselbe gilt für den Anspruch „Works with any app“. Der Satz schränkt sich selbst auf Apps mit Accessibility-Baum ein. Wie gut das bei Apps mit schwacher Accessibility-Unterstützung läuft, ist offen.

Der Ansatz ist nicht neu. native-devtools-mcp bietet unter macOS mit ax_click ein Klicken auf Accessibility-Elemente, „without moving the mouse or stealing focus“. Das Material nennt außerdem Cua Driver, Windows-MCP, axuse und OpenAIs Background Computer Use in Codex. Worin sich agent-desktop von diesen Projekten unterscheidet, ist nicht belegt. Neu ist vor allem, dass das Werkzeug nun unter Vercel Labs erscheint.

Accessibility-Berechtigung und private Snapshot-Inhalte verlangen Vorsicht

Unter macOS braucht das Werkzeug laut README die Accessibility-Berechtigung. Ein Text zu einer weiteren Berechtigung ist im vorliegenden Material abgeschnitten. Er wird hier nicht ergänzt. Snapshots, Zwischenablage-Inhalte, Screenshots und Debug-Artefakte können private Inhalte enthalten. Nach der README gehören sie nicht in öffentliche Logs oder Uploads. Ein optionaler JEV-Helfer schickt Bildschirmbeschreibungen an einen konfigurierten Modellanbieter. Er ist von der nativen CLI getrennt. Das widerspricht der Aussage „kein Modell“ nicht.