Lokales Fine-Tune gleicht Claude im Schnitt, findet aber weniger wichtige Stellen

Fine-Tune gleicht Claude im Schnitt, verpasst aber 4 von 14 wichtigen Rollen

Ein Autor, dessen Name nicht ermittelt wurde, beschreibt auf dev.to ein Experiment. Ein lokales Modell wurde so feinjustiert, dass es Stellenbeschreibungen wie Claude bewertet. Getestet wurde an 116 Rollen, die das Modell vorher nicht gesehen hatte. Bei der Gesamtmetrik, der Rangkorrelation mit Claude, liegen Fine-Tune und Original laut Autor gleichauf: 0,707 gegenüber 0,705. Die Fehlalarme sanken nach dessen Angaben von 22 auf 10, also auf weniger als die Hälfte.

Bei den wichtigen Rollen schnitt das Fine-Tune schlechter ab. Es fand 6 von 14, das Original 10. Als Erklärung nennt der Autor, das Modell habe nie mehr als 4,3 von 5 Punkten vergeben. Die besten Rollen seien dadurch knapp unter der Schwelle geblieben. Das Modell habe gelernt, auf Nummer sicher zu gehen. Alle Zahlen stammen aus dem Beitrag des Autors und sind bislang nicht unabhängig bestätigt.

Vorab festgelegte Bestehensregel: Keine von drei Versionen bestand

Hintergrund ist ein Heimlabor mit einer NVIDIA DGX Spark. Dort liest ein lokales Modell eingehende Stellenbeschreibungen vor. Nur vielversprechende Fälle gehen zur Vollbewertung an Claude. Für diese Vorprüfung braucht das lokale Modell laut Autor das vollständige Bewertungsraster, rund 22.000 Tokens je Prompt. Das Fine-Tune soll den Prompt auf etwa 550 Tokens verkürzen, indem Claudes Urteile ins Modell übergehen.

Die Bestehensregel habe der Autor nach eigener Darstellung vor dem Training festgelegt. Drei Versionen später hat keine sie erfüllt. Das Original bleibt in Produktion.

Die Spearman-Rangkorrelation, auf der die Gesamtmetrik beruht, misst Stärke und Richtung eines monotonen Zusammenhangs zwischen zwei Variablen anhand ihrer Ränge. Sie prüft also, ob beide Bewerter die Rollen ähnlich ordnen. Ob einzelne Rollen die Schwelle überschreiten, prüft sie nicht.

Warum ein guter Durchschnitt seltene Treffer verdecken kann

Dass ein guter Durchschnitt Schwächen bei seltenen, aber relevanten Fällen verdeckt, ist aus anderen Bereichen belegt. Eine Benchmark-Studie zu Single-Cell-Foundation-Modellen fand die Lücke zwischen Gesamtgenauigkeit, Macro-F1 und Recall seltener Klassen in allen neun getesteten Konfigurationen.

Eine Anleitung für LLM-Klassifikatoren empfiehlt, Precision und Recall pro Klasse auf der Produktionsverteilung zu berichten. Eine einzelne Zahl auf einem balancierten Testset reiche nicht. Als Beispiel nennt sie einen Recall von 0,31 in Produktion gegenüber 0,88 im Test. Bei unausgewogenen Daten sind Accuracy und F1 nur eingeschränkt aussagekräftig. Produktionssysteme brauchen außerdem laufende Beobachtung, weil statische Benchmarks stille Fehler übersehen.

Besonders betroffen sind Teams, die ein teures API-Modell durch ein lokales Modell als Vorfilter ersetzen wollen. Wer nur die Gesamtmetrik prüft, sieht nicht, ob die seltenen wichtigen Fälle noch durchkommen.