KI SpotlightNewsSkillGate: Neues Verfahren für In-Policy-Skill-Auswahl in Langzeithorizont-Agenten
Getrennte Kreditvergabe für Skill-Namens- und Ausführungs-Token behebt selector credit starvation und verbessert Erfolgsraten
Mit KI erstellt◆ Fakten auf einen Blick
- SkillGate ist ein Verfahren zum Training von In-Policy-Skill-Auswahl in Langzeithorizont-Agenten.
- SkillGate adressiert 'selector credit starvation', indem es den Ergebnis-Kredit für Ausführungs-Token vom lokalen Vorteil für Skill-Namens-Token trennt.
- Laut Abstract verbessert SkillGate Erfolgsraten und reduziert irreführende Skill-Exposition.
SkillGate: Neues Verfahren für In-Policy-Skill-Auswahl
SkillGate ist ein Verfahren, das die In-Policy-Skill-Auswahl in Langzeithorizont-Agenten trainiert. In modernen Agenten-Frameworks wird prozedurales Wissen zunehmend als Skills verpackt: Anleitungsdateien, die ein Agent bei Bedarf liest. Öffentliche Bibliotheken halten inzwischen Tausende solcher Skills vor. Welche Skill gelesen wird, ist damit eine Entscheidung, die die Policy mitten in einer Episode selbst trifft. Bisher fehlte jedoch ein Signal, das genau diese Auswahl trainiert. Genau hier setzt SkillGate an: Es adressiert das Problem des „selector credit starvation“. Der Selektor – der Teil der Policy, der den Skill-Namen wählt – erhält bislang keinen ausreichenden Lernkredit, weil der Ergebnis-Kredit überwiegend den Ausführungs-Token zugerechnet wird. SkillGate behebt diesen Mangel, indem es den Ergebnis-Kredit für Ausführungs-Token von einem lokalen Vorteil für Skill-Namens-Token trennt. Dadurch erhält der Selektor ein eigenes Lernsignal.
Getrennte Kreditvergabe und berichtete Verbesserungen
Der Kern von SkillGate ist die getrennte Kreditvergabe: Der Ergebnis-Kredit, der aus dem Ausgang einer Episode resultiert, wird ausschließlich den Ausführungs-Token zugewiesen. Für die Skill-Namens-Token wird dagegen ein lokaler Vorteil (local advantage) berechnet und zugeordnet. Diese Trennung löst das selector credit starvation, weil der Selektor nicht mehr mit den Ausführungs-Token um denselben globalen Ergebnis-Kredit konkurrieren muss. Stattdessen erhält er ein eigenes, auf die Skill-Wahl bezogenes Signal. Laut Abstract verbessert SkillGate auf diese Weise die Erfolgsraten und reduziert irreführende Skill-Exposition – also Fälle, in denen ein Agent durch die Auswahl eines unpassenden Skills in die Irre geführt wird. Die getrennte Kreditvergabe sorgt dafür, dass der Selektor lernt, Skills anhand ihres lokalen Beitrags zu wählen, statt sich von einem Ergebnis-Kredit leiten zu lassen, der vor allem die Ausführung belohnt.
