El agente de codificación de DeepSeek pierde puntos en el benchmark por limpiar procesos en segundo plano
DeepSeek Harness cae en las clasificaciones de Terminal-Bench porque apaga automáticamente los trabajos en segundo plano, un comportamiento que entra en conflicto con requisitos específicos de prueba a pesar de ser una práctica estándar.
Traducido automáticamente del original en inglés.
El agente de codificación de código abierto de DeepSeek está perdiendo terreno en un importante benchmark de la industria debido a un hábito integrado que los desarrolladores suelen considerar una buena práctica. El agente se limpia automáticamente al terminar los procesos en segundo plano una vez completada una tarea, lo que hace que falle en pruebas específicas que requieren que dichos procesos permanezcan activos. Esta discrepancia fue destacada en noviembre de 2026 cuando el investigador Joël Niklaus añadió la herramienta a su tabla comparativa.
Qué ocurrió
El problema surgió cuando Niklaus, investigador de optimización de harnesses en Hugging Face, integró DeepSeek Harness en su tabla de clasificación de agentes de codificación. Este tablero compara diez harnesses de agentes diferentes ejecutando modelos subyacentes idénticos para aislar el impacto de la capa de orquestación. Aunque DeepSeek Harness tuvo un rendimiento excepcional en general, empatando en el primer lugar en cinco evaluaciones puntuadas, cayó al sexto lugar específicamente en Terminal-Bench.
La brecha de rendimiento se rastreó hasta tres tareas específicas dentro de Terminal-Bench que requieren que los procesos en segundo plano continúen ejecutándose después de emitir el comando inicial. DeepSeek Harness, por diseño, apaga estos procesos cuando considera que una tarea ha finalizado. En pruebas utilizando los modelos DeepSeek-V4.1-Flash y GLM-5.3-Flash, el agente pasó solo dos de 36 intentos en estas tareas específicas. En contraste, agentes competidores como OpenCode, Pi y Hermes Agent de Nous Research pasaron los 36 intentos en las mismas tareas porque no imponen esta estricta política de limpieza.
Esta única diferencia de comportamiento redujo la puntuación de DeepSeek Harness entre 1,5 y 1,7 puntos porcentuales. En el modelo DeepSeek-V4.1-Flash configurado para un alto esfuerzo de razonamiento, esta penalización fue mayor que toda la brecha de 1,3 puntos que separaba a DeepSeek del líder de la tabla. El registro de cambios de la tabla confirma que este comportamiento de apagado es una función intencional de DeepSeek Harness, y las puntuaciones se dejaron sin cambios para reflejar el rendimiento en el mundo real.
Cómo funciona
DeepSeek Harness utiliza un registro local de trabajos diseñado para ser de corta duración. Según la documentación de ingeniería de DeepSeek, este componente está destinado a trabajos que deben vivir dentro del proceso del harness y terminar cuando el proceso finaliza. Esta arquitectura asegura que no se filtren recursos y que el entorno permanezca limpio para las tareas subsiguientes. Sin embargo, crea un conflicto con flujos de trabajo que dependen de servicios persistentes en segundo plano, como servidores web o demonios de larga ejecución, que deben sobrevivir más allá del contexto de ejecución inmediato.
Para tareas que requieren persistencia entre reinicios o ejecución de procesos independientes, la documentación aconseja usar un backend diferente. El agente no distingue actualmente entre scripts auxiliares transitorios y servicios esenciales en segundo plano durante su fase de limpieza. Como resultado, trata todos los subprocesos generados como artefactos temporales que deben eliminarse al completar la tarea, lo que lleva a fallos en benchmarks que prueban explícitamente la persistencia de procesos.
Detalles clave
- DeepSeek Harness ocupa el sexto lugar en Terminal-Bench pero está estadísticamente empatado en el primer lugar en las otras cinco evaluaciones de la tabla.
- El agente pasó solo 2 de 36 intentos en tareas específicas de persistencia, mientras que competidores como OpenCode y Pi pasaron los 36.
- El comportamiento de limpieza redujo las puntuaciones entre 1,5 y 1,7 puntos porcentuales, superando el margen entre DeepSeek y el agente mejor clasificado.
- La tabla de Niklaus incluyó 28.849 ensayos en nueve harnesses utilizando los modelos DeepSeek-V4.1-Flash, GLM-5.3-Flash y Flint.
- Mini-swe-agent logró una tasa de resolución del 51,4%, significativamente superior al 27,3% de OpenClaw, a pesar de usar los mismos modelos subyacentes.
- La eficiencia de costos varió ampliamente, con Pi resolviendo tareas a $0,29 cada una en comparación con los $3,35 por tarea resuelta de OpenCode en las evaluaciones iniciales.
Por qué importa
Este incidente subraya que la elección del harness del agente puede ser tan crítica como la elección del modelo de lenguaje grande subyacente. Los desarrolladores a menudo se centran fuertemente en las capacidades del modelo, como la profundidad de razonamiento o el tamaño de la ventana de contexto, tratando la capa de orquestación como un envoltorio neutral. Los datos muestran que los harnesses introducen una varianza significativa tanto en las tasas de éxito como en los costos. Por ejemplo, el cofundador de Hugging Face, Thomas Wolf, señaló que el mismo modelo abierto producía resultados muy diferentes dependiendo del harness utilizado.
Para los equipos de ingeniería que construyen herramientas de desarrollo impulsadas por IA, esto significa que las puntuaciones de benchmark deben interpretarse con cautela. Una puntuación más baja puede no indicar un modelo más débil, sino una discrepancia entre los comportamientos predeterminados del agente y las restricciones específicas del benchmark. También destaca la importancia de monitorear los costos, ya que algunos harnesses incurren en gastos significativamente más altos por tarea resuelta debido al manejo ineficiente del contexto o a solicitudes redundantes.
Qué puedes hacer
- Evalúa tu harness de agente por separado de tu modelo ejecutando ensayos controlados con parámetros de modelo constantes.
- Verifica si las políticas de limpieza predeterminadas de tu agente entran en conflicto con tareas que requieren procesos persistentes en segundo plano o servicios de larga ejecución.
- Monitorea el costo por tarea resuelta junto con las métricas de precisión para identificar patrones de orquestación ineficientes.
- Revisa la documentación de tu harness elegido para entender cómo gestiona los ciclos de vida de los trabajos y la persistencia de procesos.
- Considera usar backends alternativos para tareas que requieren que los trabajos sobrevivan a reinicios o se ejecuten entre múltiples procesos.
- Prueba múltiples harnesses con el mismo modelo para determinar qué combinación ofrece el mejor equilibrio entre rendimiento y costo para tu caso de uso específico.



