Roboter lernen Emotionen in Echtzeit: Neues Framework passt sich individuell an

Adaptive Emotionssteuerung durch Online-Reinforcement-Learning

Emotionale Ausdrucksfähigkeit ist ein zentraler Baustein für natürliche und vertrauensvolle Mensch-Roboter-Interaktion. Herkömmliche Systeme greifen jedoch auf statische Emotionsmodelle zurück, die für alle Nutzer gleichermaßen gelten und keine individuelle Anpassung erlauben. Ein neuartiges Framework durchbricht diese Grenze, indem es die emotionale Verhaltenspolitik eines Roboters nicht über feste Regeln steuert, sondern sie während des laufenden Dialogs kontinuierlich dazulernt. Möglich macht dies ein Online-Reinforcement-Learning-Ansatz, der direkt aus binärem menschlichem Feedback schöpft. Das System integriert einen auf DeBERTa-v3-base basierenden Emotionsklassifikator, der in jeder Dialogrunde eine Gruppe von Emotionskandidaten sampelt. Die ausgewählte Emotion wird an ein generatives Modell übergeben, das eine neuartige Roboteräußerung synthetisiert. Auf Basis der binären Rückmeldung des Nutzers – etwa Zustimmung oder Ablehnung – wird die zugrunde liegende Politik noch im selben Gesprächsverlauf verfeinert. So entsteht eine adaptive Emotionssteuerung, die in Echtzeit auf das Feedback des Gegenübers reagiert und die emotionale Ausrichtung des Roboters schrittweise optimiert. Einsatzfelder reichen von der Kundenbetreuung über therapeutische Assistenz bis hin zu sozialen Begleitrobotern, bei denen eine personalisierte emotionale Bindung entscheidend ist.

Binäres Feedback und GRPO als technischer Kern

Das Framework verbindet einen vortrainierten Emotionsklassifikator mit einem Verfahren des bestärkenden Lernens, um die emotionale Verhaltenspolitik eines Roboters im laufenden Dialog anzupassen. In jeder Dialogrunde kommt ein DeBERTa-v3-base-Modell zum Einsatz, das als spezialisierter Emotionsklassifikator eine Gruppe von Emotionskandidaten sampelt. Diese Kandidaten repräsentieren verschiedene emotionale Einfärbungen, aus denen das System eine auswählt. Die ausgewählte Emotion wird anschließend an ein generatives Modell übergeben, das daraus eine vollständig neue, zur Situation passende Roboterantwort synthetisiert. Der Nutzer reagiert auf diese Äußerung mit einem binären Feedback – beispielsweise durch eine einfache positive oder negative Bewertung –, das als Belohnungssignal in den Lernprozess einfließt. Zur Optimierung der Politik setzt das Framework auf Group Relative Policy Optimization (GRPO). Dieser Online-Reinforcement-Learning-Algorithmus vergleicht die innerhalb einer Gruppe gesampelten Emotionskandidaten anhand des erhaltenen Feedbacks und berechnet relative Vorteile, um die Auswahlwahrscheinlichkeiten gezielt zu verschieben. Anders als bei statischen Emotionsmodellen wird die Verhaltenspolitik so nicht vorab festgelegt, sondern entwickelt sich dynamisch auf Basis der tatsächlichen Nutzerreaktionen. Der gesamte Regelkreis – vom Sampeln der Emotionskandidaten über die Generierung der Äußerung bis zur Rückmeldung und Politikaktualisierung – läuft in Echtzeit ab und erlaubt eine schrittweise Verfeinerung der emotionalen Interaktion.