Apple veröffentlicht Forschung zu Unsicherheit bei LLM-Funktionsaufrufen

Apple veröffentlicht Forschung zu Unsicherheit bei LLM-Funktionsaufrufen

Ein Forschungsteam von Apple hat auf der Apple Machine Learning Research-Website den Beitrag „Uncertainty Quantification for LLM Function-Calling“ veröffentlicht. Zu den Autoren zählen Zihuiwen Ye, Lukas Aichberger, Michael Kirchhof, Sinead Williamson, Luca Zappella, Yarin Gal, Arno Blaas und Adam Goliński. Die Arbeit befasst sich mit der Quantifizierung von Unsicherheit beim sogenannten Function-Calling – einem Aspekt, der in der bisherigen Forschung zu großen Sprachmodellen (LLMs) wenig Beachtung fand. Function-Calling ist ein weit verbreiteter Ansatz, um LLMs mit Werkzeugfähigkeiten auszustatten und sie so für autonome Aufgaben zu rüsten. Der Beitrag untersucht, wie sich Unsicherheit in diesem spezifischen Kontext erfassen und bewerten lässt.

Relevanz für robustere KI-Werkzeugnutzung

Das Thema gewinnt an Bedeutung, da große Sprachmodelle zunehmend für autonome Aufgaben eingesetzt werden. Das Function-Calling-Paradigma ist dabei ein zentraler Baustein, um Modelle mit externen Werkzeugen und APIs interagieren zu lassen. Eine bessere Schätzung der Unsicherheit bei solchen Aufrufen kann die Zuverlässigkeit der Systeme erhöhen, indem sie hilft, potenziell fehlerhafte oder ungeeignete Funktionsaufrufe zu erkennen und abzufangen. Der praktische Einsatz solcher Methoden wird durch einen anhaltenden Kostentrend begünstigt: Wie ein Archivartikel zeigt, halbieren sich die Kosten für LLM-Inferenz etwa alle zwei Monate. Sinkende Inferenzkosten machen rechenintensivere Verfahren zur Unsicherheitsquantifizierung, die oft mehrere Modellaufrufe erfordern, zunehmend wirtschaftlich und erleichtern so ihre Integration in reale Anwendungen.