Cohere stellt Soft-RLVR vor: Reinforcement Learning für teilweise verifizierbare Aufgaben

Soft-RLVR: Coheres neues Framework für Reinforcement Learning mit weichen Verifikationssignalen

Das neue Framework Soft-RLVR erweitert Reinforcement Learning from Verifiable Rewards (RLVR) auf Aufgaben, bei denen die Korrektheit nicht automatisch und vollständig geprüft werden kann. RLVR hat sich bereits in Bereichen wie Mathematik und Code bewährt, wo sich Antworten automatisch als richtig oder falsch verifizieren lassen. Viele praxisrelevante Anwendungen sind jedoch nur teilweise verifizierbar: Prompts enthalten mehrere Anforderungen, Antworten können einige davon erfüllen und andere nicht, oder es existiert keine eindeutige Referenzlösung. Soft-RLVR adressiert diese Lücke, indem es jeden Prompt in eine Checkliste atomarer Anforderungen zerlegt. Ein LLM-basierter Verifier bewertet dann jede einzelne Anforderung und erzeugt feingranulare Scores. Diese dienen als weiches Reward-Signal für das Reinforcement Learning. Statt einer binären Rückmeldung („richtig/falsch“) erhält das Modell so eine differenzierte Bewertung, die widerspiegelt, wie viele und welche Teilaspekte korrekt umgesetzt wurden. Dadurch wird das Training auch für Aufgaben möglich, bei denen keine vollständige automatische Verifikation existiert, sondern eine graduelle Bewertung der Antwortqualität erforderlich ist. Die elementweise Bewertung erlaubt es dem Sprachmodell, aus teilweise korrekten Antworten zu lernen und gezielt die noch nicht optimal erfüllten Anforderungen zu verbessern, anstatt für unvollständige Lösungen pauschal bestraft zu werden. Dies ist ein entscheidender Fortschritt für den Einsatz von RL-basiertem Training in komplexen, realitätsnahen Szenarien.

Bessere Ergebnisse bei Grid-Welt, Long-Form QA und Instruction Following

Cohere evaluierte Soft-RLVR auf drei Aufgaben, die typische Herausforderungen teilweise verifizierbarer Szenarien abbilden. Die erste ist eine synthetische Grid-Welt-Aufgabe, bei der räumliches Schließen mit natürlichsprachlichen Anweisungen kombiniert wird – hier muss das Modell mehrere Positions- und Richtungsvorgaben gleichzeitig beachten. Die zweite Aufgabe ist Long-Form Question Answering, bei dem Antworten entlang mehrerer Qualitätsdimensionen wie Faktenrichtigkeit, Vollständigkeit und Kohärenz bewertet werden. Die dritte umfasst Instruction Following, also das Befolgen komplexer, aus mehreren Teilen bestehender Anweisungen. In allen drei Bereichen übertraf Soft-RLVR die bisherige RLVR-Methode sowie andere Baselines. Die Überlegenheit des Ansatzes ist besonders bedeutsam für Anwendungen, bei denen Antworten nicht einfach als richtig oder falsch klassifiziert werden können, sondern multiple, teils widersprüchliche Kriterien erfüllen müssen. Die elementweise Bewertung liefert feinkörnigere Reward-Signale, die es dem Modell erlauben, gezielt an den noch nicht optimal erfüllten Teilanforderungen zu lernen, anstatt für teilweise korrekte Antworten pauschal bestraft zu werden. Dadurch erschließt Soft-RLVR das Potenzial von RLVR für eine breite Klasse von Aufgaben, die bisher aufgrund fehlender vollständiger Verifikation nicht zugänglich waren.