LangChain optimiert Browser-Tools für Deep Agents per Trace und Eval

LangChain optimiert Browser-Tools für Deep Agents per Trace und Eval

LangChain hat einen Engineering-Bericht veröffentlicht. Darin beschreibt das Unternehmen, wie es die Browser-Werkzeuge für Deep Agents mit Stagehand und Browserbase verbessert hat. Das beschriebene Vorgehen ist iterativ. Zunächst wird das Verhalten des Agenten nachverfolgt (Tracing), um ineffiziente Stellen aufzuspüren. Danach passt das Team das Harness an. Jede Änderung wird mit Evals geprüft, bevor sie bleibt.

Deep Agents ist laut Repository ein quelloffenes Agent-Harness. Es baut auf LangGraph auf und bindet Tracing, Evaluation und Deployment über LangSmith an. Das Modell lässt sich frei wählen. Unterstützt werden unter anderem Sub-Agents, Dateisystem, Shell-Zugriff, Memory und beliebige MCP-Server als Tools.

Laut dem Bericht können Entwickler mit Managed Deep Agents Agenten in LangSmith bauen und deployen, ohne eigene Infrastruktur zu betreiben. Auch den Browser für den Agenten kann die Plattform betreiben. Ein gehosteter Anbieter wie Browserbase soll dabei die Schwierigkeiten des offenen Webs abfangen.

Einschränkung: Vom Bericht liegt nur der Anfang vor. Welche konkreten Änderungen am Harness vorgenommen wurden und welche Zahlen er nennt, konnten wir nicht prüfen.

Stagehands Anspruch und was sich davon prüfen lässt

Der Bericht behauptet, die Tools, über die ein Agent den Browser steuert, hätten einen enormen Einfluss auf Kosten und Verlauf. Stagehands Tools seien für Agenten gebaut. Dabei handelt es sich um eine Herstellerangabe. Der vorliegende Auszug unterlegt sie nicht mit Zahlen. Die meisten Toolsets steuern den Browser über das Chrome DevTools Protocol (CDP).

Zur Prüfung gibt es ein öffentliches Repository. Es vergleicht sieben Browser-Tool-Setups an einer festen Stichprobe von 100 Online-Mind2Web-Tasks, darunter playwright-mcp, playwright-mcp-tuned und stagehand. Modell, Harness und Prompt sind für alle Setups identisch. Gelaufen wird mit DeepSeek V4.1 Flash und mit Claude Sonnet 5, jeweils ein Run pro Task. Rohdaten und Transkripte sind verlinkt, die Methodik lässt sich damit nachvollziehen.

Einzelne Setups scheiterten an WebJudge-Fehlurteilen, am Turn-Limit von 80 oder am Timeout von zehn Minuten. Gesamtquoten nennt der vorliegende Auszug nicht. Ob Stagehand besser abschneidet, lässt sich daraus nicht ableiten.

Browserbase selbst weist darauf hin, dass LLM-Judges je nach Modell, Schwellwert und Prompt unterschiedliche Pass-Raten liefern. Der Anbieter kombiniert deshalb automatisches Scoring mit menschlicher Verifikation von Screenshots, Trajektorien und Endzuständen.