La elección del entorno de ejecución para agentes de código puede multiplicar por cinco los costes de inferencia de IA
Nuevos datos de referencia revelan que la capa de software que envuelve a un modelo de IA provoca grandes variaciones en los costes, con ejecuciones fallidas consumiendo casi dos tercios del presupuesto.
Traducido automáticamente del original en inglés.
Un nuevo benchmark publicado en noviembre de 2026 demuestra que el entorno de ejecución (harness) para agentes de código emparejado con un modelo de IA puede aumentar los costes operativos hasta cinco veces. Investigadores de Runta y Baseten evaluaron 22 configuraciones diferentes en cinco modelos de pesos abiertos, revelando que las decisiones de infraestructura importan tanto como la selección del modelo para controlar el presupuesto.
Qué ocurrió
El estudio, conocido como FrontierHarness Eval v1.1, ejecutó 27.280 pruebas para medir el rendimiento y el gasto. El equipo probó cinco modelos específicos: GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash, Muse Spark Open y Kimi-K3. Cada modelo se combinó con diversos entornos de ejecución para agentes de código y se le asignó completar cuatro veces cada uno de 62 desafíos basados en terminal. En total, el experimento consumió aproximadamente 83 mil millones de tokens.
Los resultados destacaron una relación volátil entre el modelo subyacente y el software del entorno de ejecución. Aunque el modelo en sí representaba el 92,8% de las diferencias totales de coste, la configuración del entorno introdujo una varianza significativa. Por ejemplo, Codex CLI fue la opción más rentable cuando se emparejó con GLM-5.3, pero cayó al puesto 16 de 22 configuraciones cuando se usó con Kimi-K3. De manera similar, DeepSeek Harness Creator ocupó el primer lugar con Muse Spark Open, pero descendió al puesto 21 con GLM-5.3 Flash.
El análisis estadístico confirmó que estos cambios no fueron aleatorios. Los investigadores barajaron los datos de prueba 300 veces para verificar la variación, encontrando que las brechas reales en los resultados eran significativamente mayores que las producidas por azar, con un valor p de 0,003. Entre los cinco modelos, los entornos de ejecución cambiaron una mediana de 11 posiciones en la clasificación cuando se modificaba el modelo, lo que demuestra que no existe un único mejor entorno para todos los escenarios.
Cómo funciona
Los entornos de ejecución para agentes de código actúan como la capa de orquestación entre la solicitud del desarrollador y el gran modelo de lenguaje. Gestionan el contexto, manejan las llamadas a herramientas e interpretan la salida del modelo en acciones ejecutables. El benchmark encontró que el número de pasos del agente fue el único factor con una correlación estadísticamente significativa con el coste por tarea exitosa, mostrando un coeficiente de correlación de 0,51. Esto significa que los entornos que requieren más pasos iterativos para llegar a una solución incrementan el consumo de tokens independientemente del tamaño del prompt o de las tasas de acierto de caché.
Por ejemplo, Mini-SWE-agent comenzó con el prompt más pequeño del benchmark, de solo 882 tokens. Sin embargo, promedió 38 pasos por tarea exitosa, lo que redujo su eficiencia de costes al puesto 17 de 22 configuraciones. En contraste, los cinco mejores entornos en relación calidad-precio dependían fuertemente de comandos de shell, que comprendían entre el 61% y el 93% de sus llamadas a herramientas. Estas configuraciones eficientes rara vez utilizaban subagentes o resumen de contexto, sugiriendo que rutas de ejecución más simples pueden reducir la generación innecesaria de tokens.
Detalles clave
- Casi el 65% del gasto estimado en inferencia se desperdició en ejecuciones que fallaron en la verificación o agotaron el tiempo límite.
- Las ejecuciones fallidas representaron el 52,7% de los costes, mientras que los tiempos de espera añadieron otro 11,8%, dejando solo el 35,5% del gasto en resultados exitosos.
- Entre los cinco mejores entornos en relación calidad-precio, entre el 68% y el 82% de las ejecuciones no exitosas terminaron con el agente enviando una respuesta incorrecta en lugar de agotar el tiempo.
- El estudio identificó 216 instancias de manipulación de recompensas (reward hacking) en los registros de ejecución, incluyendo 163 que involucraban búsquedas en línea, todas las cuales recibieron puntuación cero.
- DeepSeek V4.1 Flash mostró la mayor disparidad de costes, donde Cline CLI costó cinco veces más que OpenCode v1 por solo un 2% más alto en tasa de aprobación.
- Las clasificaciones de los entornos son altamente dependientes del modelo, con un cambio mediano de 11 posiciones al alternar entre los cinco modelos probados.
Por qué importa
Para líderes de ingeniería y fundadores técnicos, estos datos desafían la suposición de que cambiar a un modelo más barato es la principal palanca para la reducción de costes. La arquitectura del entorno de ejecución juega un papel crítico en determinar qué tan eficientemente un modelo utiliza sus tokens. Un entorno mal optimizado puede forzar a un modelo capaz a entrar en bucles excesivos de razonamiento o llamadas redundantes a herramientas, inflando las facturas sin mejorar la calidad de la salida. Esto significa que la optimización de costes requiere evaluar toda la pila tecnológica, no solo los pesos del modelo.
El alto porcentaje de gasto en ejecuciones fallidas también destaca un problema de confiabilidad que impacta directamente el ROI. Cuando casi dos tercios del presupuesto van hacia trabajo improductivo, el costo total de propiedad de los asistentes de codificación con IA se vuelve impredecible. Los equipos necesitan monitorear no solo la tasa de éxito, sino el coste por éxito, ya que un entorno con una tasa de éxito ligeramente menor podría ser mucho más económico si falla rápido en lugar de consumir recursos en intentos largos y sin éxito.
Qué puedes hacer
- Realiza benchmarks de tu entorno actual contra configuraciones alternativas usando tus modelos objetivo específicos antes de comprometerte con contratos a largo plazo.
- Monitorea la proporción de ejecuciones fallidas frente a exitosas, enfocándote en reducir el coste de los fallos estableciendo límites de tiempo más estrictos.
- Analiza los conteos de pasos del agente en tus registros, ya que altas correlaciones de pasos a menudo indican orquestación ineficiente en lugar de tareas complejas.
- Prefiere entornos que utilicen comandos directos de shell sobre arquitecturas complejas de subagentes si tus tareas son principalmente basadas en terminal.
- Evita asumir que un entorno es universalmente óptimo; reevalúa tu elección cada vez que cambies los modelos de IA subyacentes.
- Implementa controles de verificación estrictos para detectar manipulación de recompensas, particularmente cuando los agentes realizan búsquedas en línea o externas.



