KI SpotlightNewsSocratic Skill Learning: Educator leitet an, Student schreibt den Agent-Skill selbst
Die NJU-LINK-Gruppe der Nanjing University berichtet auf ihrem eigenen Benchmark SkillTransferBench moderate Vorteile gegenüber Destillationsverfahren. Unabhängig geprüft ist das bislang nicht.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- SkillTransferBench umfasst 35 Aufgabenfamilien und 408 ausführbare Fälle in 6 Domänen.
- Die Arbeit stammt von NJU-LINK an der Nanjing University und ist auf GitHub verfügbar.
- Laut Paper erreicht Fixed-Window SSL auf der Hauptkohorte 0.801 Utility, ohne Skill 0.723.
- Die Hauptevaluation umfasst 22 Aufgabenfamilien mit 155 Held-out-Fällen.
- Tests und Referenzlösungen sind veröffentlicht; der Benchmark ist bei Hugging Face herunterladbar.
Educator leitet an, Student schreibt den Skill allein
Die Forschungsgruppe NJU-LINK der Nanjing University stellt mit Socratic Skill Learning (SSL) eine Methode vor, mit der sich wiederverwendbare Agent Skills erzeugen lassen. Ein Educator leitet die Untersuchung an. Der Student handelt jedoch allein in der Umgebung und verfasst den Skill selbst. Er darf Ratschläge hinterfragen, testen und anpassen.
Die Verschachtelung von Anleitung und eigener Praxis ist neu. Bisherige Ansätze erzeugen Skills aus abgeschlossenen Trajektorien oder überlassen die Autorschaft Experten.
Als Vergleich dienen Trace2Skill, das Lektionen aus einzelnen Trajektorien destilliert, und SKILL-KD, das Skills kontrastiv zwischen Teacher- und Student-Verlauf destilliert. Laut Abstract wurden beide in angepasster Form verglichen. Auf der Hauptkohorte erreicht Fixed-Window SSL nach Angaben der Autoren einen Utility-Wert von 0.801. Ohne Skill liegt er bei 0.723, mit angepasstem Trace2Skill bei 0.761, mit angepasstem SKILL-KD bei 0.751. Über drei Modellpaare hinweg übertrifft interleaved Guidance außerdem Experten-Authoring und Post-hoc-Teaching. Der Abstand ist moderat. Von einem Durchbruch kann keine Rede sein.
SkillTransferBench: 408 Fälle, Held-out-Test in frischen Sessions
Getestet haben die Autoren auf SkillTransferBench, den sie selbst entwickelt haben. Der Benchmark umfasst 35 Aufgabenfamilien in 6 Domänen mit 408 ausführbaren Fällen, davon 35 Trainingsanker und 373 Held-out-Varianten. Öffentliche Variationsspezifikationen legen fest, was sich ändern darf. Ausgewertet wird in frischen Solver-Sessions. So soll sich zeigen, ob ein gelernter Skill über die Lernaufgabe hinaus trägt.
Die Haupt-Evaluation nutzt 22 Familien mit 155 Held-out-Fällen. Die modellübergreifenden Experimente laufen auf einer gemeinsamen Teilmenge aus 10 Familien mit 77 Fällen. Die Lite-Variante enthält 77 Held-out-Fälle. Tests und Referenzlösungen sind einsehbar. Ein Evaluations-Harness für Skill-Erwerb und die Auswertung freigegebener Skills liegt vor. Der Benchmark steht bei Hugging Face zum Download bereit.
Issue-Guided SSL und die offenen Prüfpunkte
Die Variante Issue-Guided SSL verfolgt ungelöste Fragen über Skill-Revisionen hinweg. Damit wählen die Autoren den Review aus und fokussieren ihn. Sie begründen das so: Die Kosten des Fixed-Window-Reviews wachsen, während der Bedarf an neuen Lektionen sinkt. Die Variante erreicht 0.805 Utility. Die im Abstract genannte Einsparung („61.7 % weniger …“) ist im vorliegenden Material abgeschnitten. Die Angabe ist deshalb nicht vollständig.
Die Überlegenheit gegenüber den Baselines und die Übertragbarkeit der Skills sind Selbstangaben der Autoren auf ihrem eigenen Benchmark. Transfer messen sie nur über Held-out-Varianten derselben Aufgabenfamilie. Prüfen lässt sich das durch Reproduktion mit dem veröffentlichten Code. Hinzu kommen Tests auf unabhängigen Benchmarks, in anderen Frameworks und mit anderen Modellen.
Der Code liegt auf GitHub. Er setzt Node.js 22.19+, Docker und einen OpenAI-kompatiblen Modell-Endpunkt voraus. Zu Kosten und Modellanforderungen im Praxiseinsatz liegen keine belegten Angaben vor.
