CatBoost sagt die Dauer von Fine-Tuning-Jobs laut Autoren besser voraus als die FLOP-Schätzung
In einer Hugging-Face-Vorschau auf ihr kommendes Paper berichten die Autoren von R² 0,98 statt 0,31 auf einem geteilten H200-Cluster. Unabhängig geprüft sind die Zahlen nicht.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Die Autoren bewerben eine Vorschau auf ihr Paper „Predicting End-to-End Fine-Tuning Time for Generative Language Models“.
- Die Autoren nutzen 272 reale SFT-Jobs auf NVIDIA-H200-GPUs mit rund 7.382 GPU-Stunden.
- Die übliche FLOP-basierte Schätzung erreicht laut Autoren R² = 0,31 und MAE 12,41 h.
- Ein CatBoost-Regressor mit vor dem Dispatch verfügbaren Informationen erreicht R² = 0,98 und MAE 1,71 h.
- Zu früh oder zu spät endende Jobs lassen GPUs brachliegen oder verschieben nachgelagerte Jobs.
CatBoost schlägt FLOP-Schätzung: R² 0,98 statt 0,31 bei der Fine-Tuning-Dauer
Die übliche FLOP-Rechnung trifft die Dauer von Supervised-Fine-Tuning-Jobs auf einem geteilten H200-Cluster offenbar schlecht, so ein Forschungsteam. In einem Hugging-Face-Beitrag stellen die Autoren eine Vorschau auf ihr kommendes Paper „Predicting End-to-End Fine-Tuning Time for Generative Language Models“ vor. Die FLOP-basierte Schätzung erreiche nach ihren Angaben nur ein R² von 0,31 bei einem mittleren absoluten Fehler (MAE) von 12,41 Stunden. Ein CatBoost-Regressor, der ausschließlich Informationen nutzt, die vor dem Dispatch eines Jobs vorliegen, soll auf denselben Läufen ein R² von 0,98 und einen MAE von 1,71 Stunden erreichen.
Alle Zahlen stammen von den Autoren selbst. Unabhängig geprüft sind sie nicht. Das Paper ist noch nicht auf arXiv erschienen; die Vollversion soll laut Team bald folgen. Zu den Ursachen der Abweichung der FLOP-Rechnung macht die Hugging-Face-Vorschau keine Angaben.
272 reale Jobs, 7.382 GPU-Stunden: Datenbasis und Motivation
Als Datenbasis nennen die Autoren 272 reale SFT-Jobs ihres Produktionspools mit NVIDIA-H200-GPUs, zusammen rund 7.382 GPU-Stunden. Verglichen haben sie analytische Schätzungen mit gelernten Prädiktoren.
Eine chinesischsprachige Zusammenfassung des Beitrags nennt zusätzlich eine 5-fache Kreuzvalidierung und einen Medianfehler von 0,51 Stunden. Im abgeschnittenen Ausschnitt der Hugging-Face-Vorschau lassen sich diese Angaben nicht nachprüfen.
Als Motivation führen die Autoren den Betrieb geteilter Cluster an. Endet ein Job früher als geschätzt, liegen GPUs brach, bis der nächste startet. Läuft er länger, verschieben sich alle nachgelagerten Jobs. Als Beispiel dient eine FLOP-Schätzung von neun Stunden, bei der der Job erst am nächsten Nachmittag fertig ist.
Offen bleibt, ob das Modell auch auf fremden Clustern trägt
Die Genauigkeit gilt für den eigenen Produktionspool des Teams. Ob sie sich auf andere Cluster, GPU-Typen oder Konfigurationen übertragen lässt, ist nicht belegt. Auch das Versprechen, mit „Planung statt Raten“ weniger Leerlauf zu erreichen, ist eine Angabe der Autoren. Ein Praxisvergleich fehlt bislang. Prüfbar wird das Ergebnis erst mit dem vollen Paper, einer Out-of-Sample-Validierung sowie Code und Daten.
Ältere Arbeiten greifen das Thema anders an. Eine Studie zu SenseTime-Job-Traces nutzt historische Daten für Charakterisierung und Scheduling allgemeiner Deep-Learning-Workloads, nicht speziell für das Fine-Tuning generativer Sprachmodelle. LayerLoom und BubbleTea sagen keine Jobdauer voraus. Sie nutzen freie GPU-Kapazität zwischen Inferenzlasten beziehungsweise Expert-Parallel-Bubbles bei MoE-Modellen.
Im Erfolgsfall könnten Betreiber geteilter GPU-Cluster und Anbieter von Fine-Tuning-Diensten profitieren. Ein verfügbares Produkt oder Werkzeug ist bislang nicht bekannt.



