Live NexSight: Bestes getestetes Modell löst auf SightLine nur 54,52 Prozent der Aufgaben
↘

LangSmith verknüpft Pull Requests mit Agenten-Threads

LangChain führt für Coding-Agenten das Konzept „Outcomes“ ein, das Ausgaben mit GitHub-PRs und GitLab-MRs verbindet. Wie weit es über bisheriges Tracing hinausgeht, ist offen.

· Veröffentlicht: 21.11.2026 ·2 Min Lesezeit
LangSmith verknüpft Pull Requests mit Agenten-ThreadsMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • LangSmith bietet Reporting für Coding-Agenten und das neue Konzept „Outcomes“.
  • Laut LangChain zeigt Outcomes, was gemergte PRs kosteten und welcher Aufwand nie zu einem PR führte.
  • LangChain nutzt den eigenen Coding-Agenten Robin, dessen steigende Kosten ein Grund für den Bau eines Model Routers waren.
  • Studie zu rund 33.000 Agenten-PRs auf GitHub: Dokumentations-, CI- und Build-Aufgaben werden am häufigsten gemergt.
  • Eine Studie zu 326 geschlossenen, nicht gemergten Fix-PRs nennt fehlschlagende Tests und bereits anderweitig gelöste Issues als Hauptgründe.

LangSmith verknüpft Pull Requests mit Agenten-Threads

LangChain erweitert LangSmith um Berichte für Coding-Agenten. Das neue Konzept heißt „Outcomes“. Es verknüpft GitHub-Pull-Requests und GitLab-Merge-Requests mit Threads. Nach Angaben von LangChain lässt sich so ausweisen, was ein gemergter PR gekostet hat, und wie viel Agentenaufwand nie in einen PR gemündet ist. Jeder PR verweist auf die Threads, aus denen er entstanden ist. Teams sollen damit untersuchen können, was die Kosten treibt, und wie sich Änderungen an Modellen und Richtlinien auswirken.

Laut dem LangChain-Blogpost ist neu, dass Ausgaben an konkrete Ergebnisse gebunden werden, nicht mehr allein an Nutzungs- oder Verbrauchsdaten. Die Verknüpfung nutzt die LangSmith-Begriffe: Eine Session heißt dort „Thread“, eine Span „Run“. Jeder Agenten-Turn wird als eigener Trace aufgezeichnet.

Als Hintergrund nennt LangChain den eigenen Coding-Agenten Robin. Dessen steigende Kosten seien einer der Gründe gewesen, einen Model Router zu bauen. Diese Erfahrung will das Unternehmen nun auch Kunden anbieten.

ROI-Versprechen, offene Technikfragen und Weave als Wettbewerber

Ob das Versprechen hält, lässt sich bislang nicht prüfen. LangChain behauptet, Outcomes liefere ein „klareres“ Bild des ROI von Coding-Agenten. Als Begründung führt das Unternehmen an: Coding sei in diesem Jahr mit 34 Milliarden US-Dollar die größte Kategorie der Unternehmensausgaben für KI-Anwendungen, und die meisten Engineering-Leiter könnten den ROI nicht genau beziffern. Eine Quelle für die Zahl ist bislang nicht bekannt.

Offen bleibt vieles. Unklar ist, wie der Thread mit dem PR verknüpft wird, welche Agenten und Plattformen unterstützt werden, was die Funktion kostet und welche Metriken genau ausgewiesen werden. Auch ist bislang nicht bekannt, wie weit Outcomes über das Tracing und Cost Tracking hinausgeht, die LangSmith schon bietet.

Das Grundkonzept ist zudem nicht exklusiv. Der Anbieter Weave beschreibt auf seiner Website, Sitzungen von Coding-Agenten auszuwerten, sie mit PRs zu verknüpfen, Kosten- und Review-Daten danebenzustellen und blockierte oder abgebrochene Arbeit zu klassifizieren. Das ist ebenfalls eine Herstellerangabe. Über die Qualität des Produkts sagt sie nichts.

Warum Agenten-PRs oft nie gemergt werden

Dass Agentenaufwand ohne Merge endet, zeigen zwei arXiv-Preprints, die sich nicht auf Outcomes beziehen. Eine Studie mit 33k agentengeschriebenen PRs von fünf Coding-Agenten auf GitHub stellte fest: Dokumentations-, CI- und Build-Aufgaben werden am häufigsten gemergt, Performance- und Bugfix-Aufgaben am seltensten. Nicht gemergte PRs sind demnach größer, berühren mehr Dateien und scheitern häufiger an der CI.

Eine zweite Studie untersuchte 326 geschlossene, nicht gemergte fix-bezogene PRs. Als häufigste Gründe nennt sie fehlschlagende Tests und Issues, die bereits anderweitig gelöst waren.

Gezeigt ist damit nur, dass Aufwand ohne Merge tatsächlich vorkommt. Ob Outcomes solche Fälle erkennt oder verhindert, ist bislang nicht bekannt.

J
Jasmin Freitag
Redaktion · KI-Anwendungen & Tools

Jasmin Freitag beobachtet für KI Spotlight die praktische Seite der künstlichen Intelligenz: neue Anwendungen, generative Werkzeuge, kreative KI und den Einsatz von Tools im Alltag und in Unternehmen. Sie erklärt praxisnah, was ein Werkzeug wirklich taugt.

Ähnliche Artikel