KI SpotlightNewsReMaRk soll LLM-Empfehlungen mit weniger Trainingsschritten lernen lassen
Laut den Autoren erreicht das Verfahren die Recall von 2.000 pro-Antwort-RL-Schritten in 25 bis 53 Prozent der Schritte und in vier von sieben Paaren Rank-GRPOs Bestwert mit weniger GPU-Stunden.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- ReMaRk bewertet jede Liste gegen die Vereinigung der Titel aller Antworten eines Threads.
- Rank-GRPO wählt pro Trainingsbeispiel eine Antwort aus; laut Autoren bildet der Advantage zu 85 % die gezogene Antwort ab.
- Auf sieben Backbones und drei Datensätzen erreicht ReMaRk den Validierungs-Recall von 2.000 Schritten pro-Antwort-RL in 25 bis 53 % der Schritte.
- Bei Training bis zur Konvergenz liegt ReMaRk nie signifikant hinter Rank-GRPO und erreicht in vier von sieben Paaren dessen Bestwert.
- Rank-GRPO ist Teil von ConvRec-R1, das Experimente auf dem öffentlichen Reddit-v2-Datensatz durchführte.
ReMaRk vergleicht jede Liste mit allen Antworten eines Threads
Das Paper „Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders“ stellt ReMaRk vor, ein Reinforcement-Learning-Verfahren für LLM-Empfehlungssysteme. Jede generierte Liste wird gegen die Vereinigung der Titel aller Antworten eines Reddit-Threads bewertet. Außerdem wird jede Anfrage gleich häufig gesampelt.
Rank-GRPO wählt dagegen pro Trainingsbeispiel eine einzige Antwort aus. Nach Angaben der Autoren bildet der Advantage dann zu 85 Prozent seiner Varianz ab, welche Antwort gezogen wurde, und nicht, wie gut die Liste ist. Daraus folgern sie, das Training solle an der Anfrage ansetzen, nicht an der einzelnen Antwort.
Rank-GRPO gehört zum Framework ConvRec-R1. Es behandelt jeden Rang der Empfehlungsliste als eigene Einheit, definiert die Rewards neu, um nicht-kausales Credit Assignment zu vermeiden, und nutzt ein rangbasiertes Importance Ratio auf Basis des geometrischen Mittels der tokenweisen Wahrscheinlichkeiten.
Gleicher Recall in einem Viertel bis gut der Hälfte der Schritte
Laut den Autoren erreicht ReMaRk auf sieben Backbones und drei Datensätzen den Validierungs-Recall von 2.000 Schritten pro-Antwort-RL in 25 bis 53 Prozent der Schritte. Bei diesem Budget liegt es vorn. Wird bis zur Konvergenz trainiert, liegt ReMaRk nie signifikant hinter Rank-GRPO. In vier von sieben Paaren erreicht es dessen Bestwert mit weniger GPU-Stunden.
Rank-GRPO selbst wurde einer Sekundärquelle zufolge mit Modellen von 0,5B bis 3B Parametern auf REDDIT-V2 getestet. Für Teams, die Empfehlungsmodelle mit GRPO-artigen Verfahren trainieren, könnte sich daraus eine Kostenersparnis ergeben.
Zu beachten ist die Quellenlage. Alle Zahlen stammen aus den Abstracts des Papers. Unabhängig geprüft sind sie nicht.
Übertragung auf ProtoQA und verrauschte Reddit-Daten
Derselbe Reward hilft laut den Autoren auch auf ProtoQA, wo rund 100 Personen jede Frage beantworten. Daraus leiten sie die Regel ab, mehrere gültige menschliche Antworten gemeinsam zu belohnen.
Zur Datenbasis: Reddit-Movie stammt aus einem Pushshift-Dump (2012–2022, nur für Forschung). Die Datensatz-Autoren beschreiben es als durch Web-Mining verrauscht.
