Construir con IA

Por qué las estimaciones de tiempo basadas en FLOP fallan en los trabajos de ajuste fino de LLM

Investigadores de Hugging Face demuestran que los cálculos estándar de FLOP predicen mal la duración del ajuste fino. Un modelo CatBoost que utiliza datos de configuración reduce el error de 12 horas a menos de dos.

Un reloj de arena con patrones de circuitos que representan el tiempo y el cómputo en un rack de servidores.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Investigadores de Hugging Face analizaron 272 trabajos reales de ajuste fino supervisado para entender por qué las estimaciones teóricas de cómputo suelen fallar. Sus hallazgos, publicados en noviembre de 2026, revelan que el recuento estándar de operaciones de punto flotante explica muy poco del tiempo real (wall-clock) necesario para entrenar grandes modelos de lenguaje en infraestructuras compartidas.

Qué ocurrió

El estudio se centró en cargas de trabajo de producción ejecutadas en GPUs NVIDIA H200, sumando aproximadamente 7.382 GPU-horas. El equipo comparó las estimaciones analíticas tradicionales con un enfoque de aprendizaje automático para predecir cuánto tardaría un trabajo desde su inicio hasta su finalización. El objetivo era mejorar la programación del clúster, reduciendo el tiempo inactivo cuando los trabajos terminan antes y evitando retrasos cuando se prolongan.

Los resultados mostraron una brecha significativa entre la teoría y la práctica. La línea base estándar basada en FLOP tuvo un error medio absoluto de 12,41 horas y un valor R² de solo 0,31. En contraste, un regresor CatBoost entrenado con datos de configuración del trabajo logró un R² de 0,98. Este nuevo modelo redujo el error medio absoluto a apenas 1,71 horas, con un error mediano de 0,51 horas en una validación cruzada de cinco pliegues.

Los investigadores señalaron que incluso modelos analíticos más complejos, como Calculon, no lograban captar el panorama completo. Si bien Calculon tiene en cuenta el tráfico de memoria y la comunicación a nivel de paso, aún así estimaba solo alrededor del 11% del tiempo real observado en los trabajos de producción. Esto destaca que gran parte del tiempo de ejecución se consume en sobrecargas fuera del bucle principal de optimización.

Cómo funciona

Las estimaciones teóricas suelen calcular el tiempo de entrenamiento dividiendo el total de operaciones de punto flotante por el rendimiento máximo del hardware, ajustado por un factor de Utilización de FLOPs del Modelo (MFU). Esta fórmula asume que el trabajo es puramente computacional. Sin embargo, el ajuste fino en el mundo real implica la configuración del entorno, la carga del modelo, la tokenización, evaluaciones periódicas y la subida de puntos de control (checkpoints). Estas tareas compiten por la E/S de red y almacenamiento en clústeres multiinquilino y no escalan linealmente con la potencia de cómputo.

Para abordar esto, los investigadores trataron la duración de extremo a extremo como un problema de regresión supervisada. Construyeron un vector de características utilizando únicamente información disponible antes del despacho, como hiperparámetros, tamaños de conjuntos de datos e identificadores de modelos. Crucialmente, incluyeron características derivadas que exponen las sobrecargas, como el número total de muestras de evaluación y el volumen de datos de checkpoint guardados. La estimación teórica de FLOP se incluyó como una característica entre muchas, permitiendo al modelo aprender correcciones basadas en datos históricos.

El equipo probó varios algoritmos, incluyendo Regresión Lineal, Ridge, XGBoost y CatBoost. Tras la selección de características y la búsqueda en cuadrícula, CatBoost emergió como el mejor rendimiento. Capturó eficazmente las interacciones no lineales entre las elecciones de configuración y el tiempo de ejecución, como cómo la frecuencia de evaluación impacta la duración total independientemente del tamaño del modelo.

Detalles clave

  • Conjunto de datos: 272 ejecuciones de ajuste fino supervisado en GPUs NVIDIA H200, con duraciones que van desde 1,6 hasta 172,4 horas.
  • Rendimiento de la línea base: La mejor estimación basada en FLOP (asumiendo un 30% de MFU) tuvo un error medio absoluto de 12,41 horas.
  • Rendimiento del modelo: El regresor CatBoost logró un error medio absoluto de 1,71 horas y un R² de 0,98.
  • Características principales: El volumen de datos de evaluación, el conteo de parámetros entrenables y el volumen de guardado de checkpoints fueron los predictores más fuertes del tiempo de ejecución.
  • Distribución del error: Para trabajos de menos de 60 horas, el error absoluto mediano permaneció por debajo de una hora.
  • Limitaciones: El modelo es específico para hardware H200 y ajuste fino supervisado, con menor precisión para trabajos que superan las 60 horas debido a la escasez de datos.

Por qué importa

Para los líderes de ingeniería que gestionan clústeres de GPU compartidos, las estimaciones precisas de duración son críticas para la asignación eficiente de recursos. Cuando las predicciones están desviadas por medio día, los programadores no pueden empaquetar trabajos de manera fiable ni prometer fechas de entrega. Esto conduce a un uso fragmentado de la GPU, donde hardware costoso permanece inactivo mientras otros equipos esperan recursos. Pasar de las suposiciones a la planificación basada en datos permite una programación más ajustada y tasas de utilización más altas.

El estudio también destaca que las decisiones de configuración tienen impactos desproporcionados en el tiempo de ejecución que no son obvios solo con métricas de cómputo. Características como la cadencia de evaluación y la política de checkpoints impulsan sobrecargas significativas. Los equipos a menudo establecen estos parámetros por hábito más que por necesidad. Comprender su impacto en el tiempo real permite a los ingenieros tomar decisiones equilibradas entre el rigor experimental y la velocidad de iteración, optimizando tanto el costo como la productividad del desarrollador.

Qué puedes hacer

  • Rastrea la frecuencia de evaluación y el tamaño de los checkpoints en tus registros de entrenamiento, ya que son importantes impulsores de la sobrecarga de tiempo de ejecución.
  • Ve más allá de los simples cálculos de FLOP para la programación; usa datos históricos de ejecuciones para construir modelos de regresión para tu infraestructura específica.
  • Incluye características previas al despacho como el tamaño del conjunto de datos y los pasos de evaluación en tus predicciones de duración, en lugar de depender únicamente de los parámetros del modelo.
  • Ten cuidado con las estimaciones para trabajos de muy larga duración, ya que los errores tienden a aumentar significativamente más allá de la marca de las 60 horas.
  • Reentrena los modelos de predicción al cambiar de generación de hardware, ya que las características de utilización y los cuellos de botella de E/S diferirán.
  • Audita tus configuraciones de entrenamiento para asegurar que las frecuencias de evaluación y guardado se alineen con las necesidades reales de depuración y no con la configuración predeterminada.
  • #machine learning
  • #infrastructure
  • #gpu optimization
  • #hugging face
  • #llm training

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo
$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos