TRACE: Training-freies Framework gegen visuelle Token-Flut in GUI-Agenten

TRACE: Training-freies Framework gegen visuelle Token-Flut in GUI-Agenten

GUI-Agenten, die grafische Benutzeroberflächen über multimodale Sprachmodelle steuern, akkumulieren im Verlauf einer Aufgabe hochauflösende Screenshots. Mit jedem Interaktionsschritt wird ein neuer Screenshot in den Kontext aufgenommen; die daraus extrahierten visuellen Tokens summieren sich über die gesamte Trajektorie. Dies führt zu zwei konkreten Problemen: Erstens steigt die Inferenzlatenz, weil das Modell bei jedem Schritt eine wachsende Anzahl von Tokens verarbeiten muss. Zweitens wächst der Speicherverbrauch des KV-Caches, der die bisherigen Bild- und Textrepräsentationen zwischenspeichert, linear mit der Anzahl der Frames. In längeren Sitzungen kann der Cache so groß werden, dass er die verfügbaren GPU-Ressourcen übersteigt oder die Verarbeitung spürbar verlangsamt. Herkömmliche Ansätze, die visuelle Tokens nachträglich beschneiden, sind training-frei möglich, stoßen aber auf eine Einschränkung: Einmal verworfene Tokens lassen sich ohne erneutes Encoding nicht wiederherstellen, wenn der Cache wiederverwendet wird. TRACE (Trajectory-robust Admission and Coverage-aware Evidence ordering) ist ein training-freies Framework, das genau hier ansetzt. Es benötigt kein zusätzliches Feintuning oder Reinforcement Learning. Stattdessen ordnet TRACE visuelle Evidenz nach zwei zentralen Kriterien: ihrer potenziellen künftigen Nützlichkeit für noch unbekannte Handlungsziele und ihrer Vielfalt. Dazu kombiniert es einen query-unabhängigen, layout-abgeleiteten Interaktions-Prior mit der Relevanz für die aktuelle Instruktion und der Neuheit von Merkmalen. Diese drei Signale erzeugen ein Ranking, das entscheidet, welche visuellen Tokens im begrenzten Budget verbleiben. Zusätzlich reserviert TRACE einen Teil des Budgets für native visuelle Tokens, die gleichmäßig über den Bildschirm verteilt sind, um operable Regionen auch dann abzudecken, wenn das nutzenbasierte Ranking sie vernachlässigt. Ausgemusterte Frames werden schließlich monoton in einen kompakten Session-State kontrahiert. Das Ziel ist, Latenz und Speicherverbrauch von GUI-Agenten deutlich zu reduzieren, ohne die Fähigkeit zur Bedienung der Oberfläche einzuschränken.

Coverage-aware Evidence Ordering und monotone KV-Kontraktion

Der zentrale Mechanismus von TRACE beruht auf einer irreversiblen Admission-Entscheidung. Da GUI-Agenten typischerweise einen KV-Cache wiederverwenden, können einmal verworfene visuelle Tokens nicht ohne erneutes Encoding wiederhergestellt werden. Ein Pruning-Schritt ist daher endgültig und muss auch für unbekannte zukünftige Ziele nützlich bleiben. Um diese Anforderung zu erfüllen, kombiniert TRACE drei Ranking-Komponenten. Die erste ist ein query-unabhängiger, aus dem Layout abgeleiteter Interaktions-Prior. Dieser bewertet, wie wahrscheinlich ein Bildbereich interaktiv ist – etwa Bereiche, die typischerweise Interaktionen ermöglichen – und zwar unabhängig von der konkreten Aufgabe. Dadurch werden strukturell wichtige Regionen bevorzugt, auch wenn die aktuelle Instruktion sie nicht explizit erwähnt. Die zweite Komponente ist die Instruktionsrelevanz: Sie misst, wie stark ein visuelles Token mit der aktuellen Anweisung zusammenhängt, und stellt sicher, dass aufgabenbezogene Bildausschnitte hohe Priorität erhalten. Die dritte Komponente ist die Feature-Neuheit. Sie erkennt, ob ähnliche visuelle Merkmale bereits in früheren Frames vorkamen, und reduziert so redundante Tokens. Gemeinsam erzeugen diese Signale ein Ranking, das sowohl potenzielle zukünftige Nützlichkeit als auch Diversität berücksichtigt.

Ein Teil des Token-Budgets wird anschließend für native visuelle Tokens reserviert, die gleichmäßig über den Bildschirm verteilt sind. Diese Reservierung verbessert die räumliche Abdeckung, weil das nutzenbasierte Ranking dazu neigen kann, bestimmte Bildschirmregionen zu vernachlässigen, wenn sie nach den drei Kriterien niedrig bewertet werden. Ohne einen solchen Ausgleich könnten ganze operable Bereiche des GUIs aus dem Kontext verschwinden. Die gleichmäßig verteilten nativen Tokens stellen sicher, dass jede Region zumindest eine minimale Repräsentation behält, und reparieren so Lücken in der räumlichen Abdeckung. Gleichzeitig wird die bereits etablierte, nach zukünftiger Nützlichkeit sortierte Token-Reihenfolge nicht verletzt: Die reservierten Tokens werden als feste, geordnete Gruppe in die bestehende Sequenz integriert, ohne die relative Ordnung der übrigen Tokens zu verändern. Dadurch bleibt eine verschachtelte Token-Reihenfolge erhalten, bei der die visuelle Evidenz monoton über verschiedene Budgets schrumpfen kann, indem einfach die hinteren Elemente entfernt werden. Schließlich kontrahiert eine monotone KV-Kontraktion ausgemusterte Frames schrittweise in einen kompakten Session-State. Dieser Schritt vermeidet wiederholtes visuelles Encoding oder Pruning, weil bereits verarbeitete Frames nicht erneut durch das Modell geschickt werden müssen, sondern in verdichteter Form im Cache verbleiben.

Validierung über sechs GUI-Benchmarks

Zur experimentellen Absicherung wurden laut der Veröffentlichung umfangreiche Experimente über sechs GUI-Benchmarks und mit diversen Modellen durchgeführt. Die Quelle nennt keine einzelnen Benchmark-Namen oder konkreten Zahlen; sie beschreibt lediglich, dass die Versuche die Wirksamkeit des training-freien Verfahrens über unterschiedliche Umgebungen und Modellarchitekturen hinweg prüfen sollen. Im Fokus stehen dabei die Reduktion von Inferenzlatenz und Speicherverbrauch, wie sie im Abstract als Ziel genannt werden.