Liquid AI veröffentlicht Notebook: 350M-Modell in 100 GRPO-Schritten für strukturierte Ausgaben

Notebook für 100 GRPO-Schritte auf einer GPU

Laut Liquid AI wurde ein Notebook veröffentlicht, das die Feinabstimmung des 350 Millionen Parameter großen Modells LFM2.5-350M in 100 GRPO-Schritten beschreibt. Ziel ist nach Angaben des Unternehmens, die Einhaltung strukturierter Ausgaben – die sogenannte Schema-Compliance – zu verbessern. Die Feinabstimmung zielt darauf ab, dass das Modell häufiger gültige, parsebare Ausgaben im angeforderten Format liefert.

Durch das Fine-Tuning mit GRPO wird das Modell gezielt darauf trainiert, Ausgaben zu erzeugen, die dem vorgegebenen Schema entsprechen. Anstatt nur allgemein auf Anfragen zu antworten, lernt es, die geforderte Struktur – etwa JSON-Formate oder andere festgelegte Shapes – zuverlässig einzuhalten. Das geschieht, indem das Modell während des Trainings Belohnungen für korrekte, parsebare Ausgaben erhält und so seine Parameter entsprechend anpasst. Dadurch steigt die Wahrscheinlichkeit, dass es im Einsatz gültige und direkt weiterverarbeitbare Antworten liefert.

Strukturierte Ausgaben sind eine der häufigsten realen Aufgaben für Sprachmodelle, doch die meisten Benchmarks falteten sie in breitere Reasoning- oder Extraktions-Scores, statt sie eigenständig zu messen, so Liquid AI. Ob ein Modell zuverlässig gültige, parsebare Ausgaben im angeforderten Format und Shape liefert, entscheide oft darüber, ob es überhaupt in ein nachgelagertes System eingebunden werden kann, heißt es weiter.

Der Leitfaden besteht aus zwei Teilen, die an unterschiedlichen Orten laufen: Das Fine-tuning läuft auf einer GPU, die Evaluation kann lokal erfolgen. Das begleitende Notebook ist laut Liquid AI für eine Free-Tier-Colab- oder Kaggle-GPU ausgelegt. Für die Python-Toolchain wird uv benötigt.

Lokale Evaluation per llama.cpp und Abgrenzung zum IFStruct-Benchmark

Die lokale Evaluation ist der zweite Teil des Leitfadens, der erste Teil ist das Fine-tuning auf einer GPU. Die Evaluation kann laut Liquid AI lokal auf einem MacBook Pro mit Apple M5 Max und 36 GB unified memory über llama.cpp erfolgen. llama.cpp stellt einen OpenAI-kompatiblen Server bereit, mit dem der IFStruct-Evaluator kommuniziert. Gemäß den Liquid-AI-Deployment-Dokumenten wird llama.cpp mit Homebrew installiert und anschließend geprüft, ob llama-server verfügbar ist. Für die Python-Toolchain ist uv erforderlich.

Vor dem Fine-tuning wird LFM2.5-350M auf dem IFStruct-Benchmark evaluiert. Dabei wird geprüft, ob der berichtete Score von 21,1 Prozent reproduziert werden kann. Dieser Schritt dient als Referenz vor der Feinabstimmung.

Liquid AI stellt klar, dass die hier beschriebene Trainings-Pipeline nicht diejenige ist, die für das im IFStruct-Blog beschriebene RL-Modell verwendet wurde. Das Notebook zielt nicht darauf ab, den IFStruct-Benchmark-Score zu reproduzieren. Stattdessen soll es zeigen, wie task-spezifisches Fine-tuning kleinerer Modelle die Leistung verbessern und mit deutlich größeren Modellen mithalten kann, so das Unternehmen.

Durch die Spezialisierung auf die Aufgabe der strukturierten Ausgabe kann das kleine Modell in diesem Bereich eine Leistung erreichen, die mit größeren, aber weniger spezialisierten Modellen vergleichbar ist. Das Fine-Tuning konzentriert die begrenzte Kapazität des Modells auf die relevanten Muster und Regeln, sodass es bei der Schema-Compliance ähnlich gut abschneiden kann wie Modelle mit deutlich mehr Parametern.