COCORELI: Vorbedingungen blockieren unsichere Aktionen bei KI-Agenten

COCORELI: Vorbedingungen blockieren unsichere Aktionen

Autonome Agenten, die Anweisungen in natürlicher Sprache ausführen, müssen auch bei unvollständigen Vorgaben zuverlässig handeln. Bisherige Ansätze erkennen zwar fehlende Informationen, erlauben aber dennoch die Ausführung – mit potenziell unsicheren oder falschen Aktionen. COCORELI behebt dieses Problem, indem es die Erkennung von Unterspezifikation direkt in den Ausführungsprozess integriert. Kernstück ist ein spezielles Kontrollmodul, das aus der semantischen Repräsentation der Instruktion und dem Aufgabenkontext Vorbedingungen ableitet. Vor jeder geplanten Aktion prüft dieses Modul, ob alle erforderlichen Bedingungen erfüllt sind. Ist eine Bedingung nicht erfüllt, wird die Aktion nicht einfach verworfen, sondern in eine Warteschlange verschoben und blockiert. Ein Überwachungsmechanismus beobachtet kontinuierlich den Zustand der Vorbedingungen, etwa durch eingehende Klärungen des Nutzers oder neue Sensordaten. Sobald alle Bedingungen erfüllt sind, gibt das System die Aktion aus der Warteschlange frei und führt sie aus. So wird verhindert, dass ein Agent eine Aktion ausführt, obwohl entscheidende Parameter fehlen. Die Autoren betonen, dass die reine Detektion nicht ausreicht; erst die konsequente Durchsetzung von Vorbedingungen im Ausführungsprozess verhindert unsichere Schritte. COCORELI wurde als Framework für kollaborative Agenten entwickelt, die schrittweise mit menschlichen Nutzern interagieren und dabei Anweisungen erhalten.

Evaluierung: Sicherheit ohne Einbußen bei der Aufgabenabschlussrate

Die Forscher evaluierten COCORELI auf etablierten Benchmarks für kollaboratives Instruktionsfolgen, die Szenarien mit unvollständigen Anweisungen enthalten. Als Messgrößen dienten der Anteil unsicherer Aktionen und die Aufgabenabschlussrate. Verglichen wurde mit einem Baseline-Verfahren, das Unterspezifikation zwar erkennt, aber nicht in die Ausführung eingreift. Die Ergebnisse zeigen, dass COCORELI die Rate unsicherer Aktionen signifikant reduziert – im Paper werden konkrete Prozentwerte genannt –, während die Aufgabenabschlussrate stabil bleibt. Verantwortlich dafür sind adaptive Planungsstrategien: Blockierte Aktionen werden nicht aufgegeben, sondern nach Erfüllung der Vorbedingungen nachgeholt, und der Agent kann alternative, bereits freigegebene Schritte vorziehen. So bleibt die Effektivität erhalten, ohne dass riskante Handlungen in Kauf genommen werden müssen. Die Autoren sehen in der Kopplung von Erkennung und Ausführung den entscheidenden Fortschritt. COCORELI demonstriert, dass Sicherheit und Zuverlässigkeit bei kollaborativen KI-Agenten kein Widerspruch sein müssen, insbesondere wenn Anweisungen schrittweise und oft unvollständig eingehen.