Mit KI entwickeln

Warum FLOP-basierte Zeitschätzungen für LLM-Feinabstimmungs-Jobs versagen

Forscher von Hugging Face zeigen, dass Standard-FLOP-Berechnungen die Dauer der Feinabstimmung nur schlecht vorhersagen. Ein CatBoost-Modell, das Konfigurationsdaten nutzt, reduziert den Fehler von 12 Stunden auf unter zwei.

Eine Sanduhr mit Schaltkreis-Mustern, die Zeit und Compute auf einem Server-Rack darstellen.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Forscher von Hugging Face analysierten 272 reale überwachte Feinabstimmungs-Jobs (Supervised Fine-Tuning), um zu verstehen, warum theoretische Compute-Schätzungen oft daneben liegen. Ihre im November 2026 veröffentlichten Erkenntnisse zeigen, dass die Anzahl der Gleitkommaoperationen (Floating-Point Operations) nur einen sehr geringen Teil der tatsächlichen Wall-Clock-Zeit erklärt, die für das Training großer Sprachmodelle auf gemeinsamer Infrastruktur erforderlich ist.

Was geschah

Die Studie konzentrierte sich auf Produktions-Workloads, die auf NVIDIA H200 GPUs liefen und insgesamt etwa 7.382 GPU-Stunden umfassten. Das Team verglich traditionelle analytische Schätzungen mit einem maschinellen Lernansatz, um vorherzusagen, wie lange ein Job von Anfang bis Ende dauern würde. Das Ziel war es, die Cluster-Scheduling-Prozesse zu verbessern, indem Leerlaufzeiten bei frühzeitig beendeten Jobs reduziert und Verzögerungen bei spät endenden Jobs verhindert werden.

Die Ergebnisse zeigten eine erhebliche Kluft zwischen Theorie und Praxis. Der standardmäßige FLOP-basierte Baseline-Ansatz wies einen mittleren absoluten Fehler von 12,41 Stunden und einen R²-Wert von nur 0,31 auf. Im Gegensatz dazu erreichte ein CatBoost-Regressor, der auf Job-Konfigurationsdaten trainiert wurde, einen R²-Wert von 0,98. Dieses neue Modell reduzierte den mittleren absoluten Fehler auf lediglich 1,71 Stunden, mit einem Medianfehler von 0,51 Stunden über fünfmalige Kreuzvalidierung.

Die Forscher stellten fest, dass selbst komplexere analytische Modelle wie Calculon nicht in der Lage waren, das Gesamtbild zu erfassen. Während Calculon Speicher-Traffic und Kommunikation auf Schritt-Ebene berücksichtigt, schätzte es dennoch nur etwa 11 % der beobachteten Wall-Clock-Zeit für Produktions-Jobs ab. Dies verdeutlicht, dass ein Großteil der Laufzeit durch Overheads außerhalb des Kern-Optimierungsloops verbraucht wird.

Wie es funktioniert

Theoretische Schätzungen berechnen die Trainingszeit typischerweise, indem sie die Gesamtanzahl der Gleitkommaoperationen durch den Spitzen-Durchsatz der Hardware teilen, angepasst durch einen Model FLOPs Utilization-Faktor (MFU). Diese Formel geht davon aus, dass der Job rein rechnerisch ist. In der Realität umfasst die Feinabstimmung jedoch Umgebungs-Setup, Modell-Laden, Tokenisierung, periodische Bewertungen und Checkpoint-Uploads. Diese Aufgaben konkurrieren in Multi-Tenant-Clustern um Netzwerk- und Storage-I/O und skalieren nicht linear mit der Rechenleistung.

Um dies anzugehen, behandelten die Forscher die End-to-End-Dauer als ein überwachtes Regressionsproblem. Sie erstellten einen Feature-Vektor unter Verwendung ausschließlich vor dem Dispatch verfügbarer Informationen, wie Hyperparameter, Datensatzgrößen und Modell-Identifikatoren. Entscheidend war, dass sie abgeleitete Features einbezogen, die Overheads offenlegen, wie die Gesamtanzahl der Evaluations-Samples und das Volumen der gespeicherten Checkpoint-Daten. Die theoretische FLOP-Schätzung wurde als eines von vielen Features aufgenommen, sodass das Modell Korrekturen basierend auf historischen Daten lernen konnte.

Das Team testete mehrere Algorithmen, darunter Linear Regression, Ridge, XGBoost und CatBoost. Nach Feature-Auswahl und Grid Search erwies sich CatBoost als der beste Performer. Es erfasste effektiv die nichtlinearen Interaktionen zwischen Konfigurationsentscheidungen und Laufzeit, wie etwa wie die Häufigkeit der Evaluation die Gesamtdauer unabhängig von der Modellgröße beeinflusst.

Wichtige Details

  • Datensatz: 272 Runs zur überwachten Feinabstimmung auf NVIDIA H200 GPUs, mit einer Dauer von 1,6 bis 172,4 Stunden.
  • Baseline-Leistung: Die beste FLOP-basierte Schätzung (unter Annahme von 30 % MFU) hatte einen mittleren absoluten Fehler von 12,41 Stunden.
  • Modellleistung: Der CatBoost-Regressor erreichte einen mittleren absoluten Fehler von 1,71 Stunden und einen R²-Wert von 0,98.
  • Top-Features: Das Volumen der Evaluationsdaten, die Anzahl der trainierbaren Parameter und das Volumen der gespeicherten Checkpoints waren die stärksten Prädiktoren für die Laufzeit.
  • Fehlerverteilung: Für Jobs unter 60 Stunden blieb der mediane absolute Fehler unter einer Stunde.
  • Einschränkungen: Das Modell ist spezifisch für H200-Hardware und überwachte Feinabstimmung, mit geringerer Genauigkeit für Jobs über 60 Stunden aufgrund spärlicher Daten.

Warum es wichtig ist

Für Engineering-Leads, die gemeinsame GPU-Cluster verwalten, sind genaue Dauer-Schätzungen entscheidend für eine effiziente Ressourcenzuweisung. Wenn Vorhersagen um einen halben Tag falsch liegen, können Scheduler Jobs nicht zuverlässig zusammenpacken oder Liefertermine zusichern. Dies führt zu fragmentierter GPU-Nutzung, bei der teure Hardware untätig bleibt, während andere Teams auf Ressourcen warten. Der Wechsel von Schätzungen zu datengesteuerter Planung ermöglicht engere Scheduling-Prozesse und höhere Auslastungsraten.

Die Studie hebt auch hervor, dass Konfigurationsentscheidungen überproportionale Auswirkungen auf die Laufzeit haben, die aus Compute-Metriken allein nicht offensichtlich sind. Features wie Evaluations-Rhythmus und Checkpoint-Policy verursachen signifikante Overheads. Teams setzen diese Parameter oft aus Gewohnheit statt aus Notwendigkeit. Das Verständnis ihrer Auswirkung auf die Wall-Clock-Zeit ermöglicht es Ingenieuren, Abwägungen zwischen experimenteller Strenge und Iterationsgeschwindigkeit vorzunehmen, um sowohl Kosten als auch Entwicklerproduktivität zu optimieren.

Was Sie tun können

  • Verfolgen Sie die Häufigkeit der Evaluation und die Größe der Checkpoints in Ihren Trainings-Logs, da diese Haupttreiber für Laufzeit-Overheads sind.
  • Gehen Sie über einfache FLOP-Berechnungen für das Scheduling hinaus; nutzen Sie historische Run-Daten, um Regressionsmodelle für Ihre spezifische Infrastruktur zu erstellen.
  • Nehmen Sie Pre-Dispatch-Features wie Datensatzgröße und Evaluations-Schritte in Ihre Dauer-Vorhersagen auf, anstatt sich ausschließlich auf Modellparameter zu verlassen.
  • Seien Sie vorsichtig mit Schätzungen für sehr lang laufende Jobs, da die Fehler tendenziell deutlich zunehmen, sobald die Marke von 60 Stunden überschritten wird.
  • Trainieren Sie Vorhersagemodelle neu, wenn Sie Hardware-Generationen wechseln, da sich Nutzungscharakteristiken und I/O-Engpässe unterscheiden werden.
  • Überprüfen Sie Ihre Trainingskonfigurationen, um sicherzustellen, dass Evaluations- und Speicherrhythmen den tatsächlichen Debugging-Bedürfnissen entsprechen und nicht nur Standardeinstellungen sind.
  • #machine learning
  • #infrastructure
  • #gpu optimization
  • #hugging face
  • #llm training

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel