KI SpotlightNewsTool-Erfolg ist kein Abschluss: Neue Prüfmethodik für KI-Agenten
Drei Checks trennen Tool-Aufruf, Zielzustand und Abschlussnachweis
Mit KI erstellt◆ Fakten auf einen Blick
- LangChain bietet mit createAgent bzw. create_agent einen produktionsreifen ReAct-Agenten, der Tools, Middleware und LangGraphs durable Runtime nutzt.
- Microsoft Foundry stellt eingebaute Agent-Evaluatoren bereit, die System-Evaluation (End-to-End) und Prozess-Evaluation (Schritt-für-Schritt) unterstützen.
- Adobe bietet Evaluationsfunktionen mit Datasets (Frage-Antwort-Paare) und Experimenten, die Antworten gegen erwartete Antworten scoren.
- Der LiveMCP-101-Benchmark umfasst 101 kuratierte Queries, die koordinierte Nutzung mehrerer MCP-Tools erfordern; selbst Frontier-LLMs erreichen eine Erfolgsrate unter 60%.
- ToolPRMBench ist ein Benchmark zur Bewertung von Process Reward Models für Tool-using Agents und nutzt eine Multi-LLM-Verifikationspipeline.
- Der Berkeley Function-Calling Leaderboard (BFCL) bewertet einzelne Funktionsaufrufe, nicht die vollständige Aufgabenerfüllung.
Ein erfolgreicher Tool-Aufruf eines KI-Agenten belegt nicht, dass die eigentliche Aufgabe abgeschlossen ist. Das geht aus einem Fachbeitrag hervor, der eine Prüfmethodik mit drei Checks vorschlägt: Tool result prüft, ob die API oder das Tool erfolgreich zurückgegeben hat; External state, ob das Zielsystem tatsächlich den erwarteten Zustand erreicht hat; Completion evidence, ob dieser Zustand die vorab definierte Erfolgsbedingung erfüllt. Auch für Wiederholungen sei die Trennung nützlich: Läuft ein Aufruf in einen Timeout, kann die externe Aktion dennoch abgeschlossen sein; ein erneuter Versuch ohne Prüfung des externen Zustands könne Seiteneffekte duplizieren. Benchmarks wie der Berkeley Function-Calling Leaderboard bewerten einzelne Funktionsaufrufe, nicht die vollständige Aufgabenerfüllung. LiveMCP-101 zeigt, dass selbst Frontier-LLMs bei koordinierten Multi-Tool-Aufgaben unter 60 Prozent Erfolgsrate bleiben.
