Por qué los LLM siguen siendo no deterministas incluso a temperatura cero

En septiembre de 2025, investigadores de Thinking Machines demostraron que los grandes modelos de lenguaje (LLM) no logran producir salidas idénticas incluso cuando se configuran para una máxima determinación. Al enviar el mismo prompt mil veces con la temperatura establecida en cero, recibieron ochenta completaciones diferentes. Este hallazgo subraya un desafío arquitectónico crítico para los desarrolladores que construyen sistemas de IA en producción: los modelos generativos son inherentemente probabilísticos, no deterministas.

Qué ocurrió

El experimento se centró en un prompt simple que solicitaba información sobre Richard Feynman. El equipo utilizó un modelo abierto con temperatura cero, una configuración diseñada teóricamente para seleccionar siempre el siguiente token más probable. A pesar de esta restricción, las salidas divergieron después de los primeros 102 tokens. Mientras que 992 respuestas indicaban que Feynman nació en Queens, Nueva York, ocho respuestas citaron Nueva York City. Esta variación ocurrió a pesar de tener entradas y semillas idénticas, lo que demuestra que los parámetros de configuración estándar no garantizan la repetibilidad.

Este comportamiento no se limita a los benchmarks académicos. En entornos de producción, los desarrolladores a menudo se encuentran con situaciones donde una demo funciona perfectamente, pero la misma entrada produce resultados diferentes durante presentaciones a clientes o uso en vivo. El problema se vuelve crítico cuando los agentes de IA toman decisiones que involucran dinero, control de acceso o cumplimiento normativo. A diferencia del software tradicional, donde un error produce el mismo fallo cada vez, un LLM podría dar una respuesta correcta en una ejecución y una incorrecta en la siguiente, dificultando significativamente la depuración y la auditoría.

La causa raíz radica en cómo operan los servidores de inferencia. Los proveedores agrupan las solicitudes en lotes (batches) para optimizar la utilización de la GPU. La investigación indica que los kernels comunes de GPU no son invariantes al lote, lo que significa que los resultados matemáticos pueden variar ligeramente dependiendo del número de solicitudes concurrentes. Cuando dos tokens potenciales tienen probabilidades casi idénticas, estas pequeñas diferencias numéricas hacen que el modelo elija caminos distintos, generando texto divergente. Además, las actualizaciones por parte del proveedor en las pilas de servicio o versiones del modelo pueden cambiar el comportamiento sin aviso previo, rompiendo aún más la reproducibilidad.

Cómo funciona

Los sistemas deterministas, como los motores de reglas o los clasificadores entrenados con pesos congelados, funcionan como funciones puras. Mapean entradas específicas a salidas específicas sin muestrear de una distribución. Si los ejecutas dos veces con los mismos datos, obtienes exactamente el mismo resultado, byte a byte. Esto permite pruebas unitarias, comparación de versiones y claros registros de auditoría. En contraste, los LLM no devuelven respuestas directamente. Calculan una distribución de probabilidad para cada posible siguiente token y luego muestrean de esa distribución.

Incluso cuando la temperatura está establecida en cero, el proceso de muestreo es vulnerable a factores externos. El parámetro de semilla ofrecido por muchos proveedores se describe como "mejor esfuerzo" (best-effort). No puede tener en cuenta los cambios en el estado subyacente del hardware, los tamaños de lote o las actualizaciones silenciosas del modelo. Además, los agentes a menudo dependen de herramientas externas como motores de búsqueda o bases de datos. Dado que estas fuentes cambian con el tiempo, el contexto proporcionado al modelo deriva, asegurando que ninguna dos ejecuciones sean realmente idénticas. Como se señaló en un estudio de 2024, la precisión en tareas de benchmark puede variar hasta un quince por ciento entre ejecuciones bajo configuraciones deterministas, con brechas que alcanzan el setenta por ciento en casos extremos.

Detalles clave

• Thinking Machines observó 80 completaciones diferentes a partir de 1.000 prompts idénticos a temperatura cero.
• La divergencia ocurre típicamente cuando los tokens candidatos tienen probabilidades casi iguales, influenciadas por el agrupamiento en el lado del servidor.
• Los kernels invariantes al lote pueden imponer determinismo, pero pueden aumentar la latencia de inferencia de 26 a 55 segundos.
• Los alias de modelos del proveedor pueden apuntar a versiones actualizadas, causando cambios de comportamiento silenciosos en producción.
• Los clasificadores de ML tradicionales ofrecen salidas totalmente repetibles entre lanzamientos, a diferencia de los modelos generativos.
• La no determinación se concentra en casos límite donde el modelo está genuinamente incierto.

Por qué importa

Para los ingenieros de software y fundadores técnicos, tratar los LLM como componentes deterministas conduce a arquitecturas frágiles. Cuando un sistema de IA controla transacciones financieras, permisos de usuario o cumplimiento regulatorio, la variabilidad es una responsabilidad. Una queja de cliente respecto a un reembolso denegado no puede resolverse reejecutando el prompt, ya que el modelo podría proporcionar una justificación o resultado diferente. Esta falta de reproducibilidad complica las pruebas de regresión y dificulta explicar las decisiones a auditores o equipos legales.

Comprender la distinción entre IA determinista y probabilística permite a los equipos asignar tareas adecuadamente. Los modelos generativos sobresalen en interpretar datos no estructurados y redactar texto, pero no deberían ser los únicos responsables de las decisiones finales. Al reconocer que la no determinación es una característica de la tecnología y no un error, los desarrolladores pueden diseñar sistemas que aíslen la lógica de alto riesgo dentro de capas deterministas. Este enfoque asegura que el producto siga siendo testeable, explicable y confiable, incluso cuando el modelo de lenguaje subyacente se comporta de manera impredecible.

Qué puedes hacer

• Implementar reglas estrictas en el código para límites, permisos y aritmética en lugar de depender de instrucciones en el prompt.
• Usar clasificadores calibrados para decisiones de alto volumen donde haya disponible datos históricos etiquetados.
• Restringir las salidas del LLM a esquemas JSON estrictos con valores enumerados para reducir la variación.
• Definir escalas de evaluación explícitas en los prompts con ejemplos concretos para anclar los juicios del modelo.
• Ejecutar consultas críticas múltiples veces y usar votación o promediado para estimar niveles de confianza.
• Registrar todas las entradas, versiones del modelo y salidas para habilitar auditorías sin regenerar respuestas.