OpenAI corrige una vulnerabilidad en la compactación que exponía el razonamiento oculto del modelo

La firma de seguridad Xint demostró un método para extraer el razonamiento oculto del modelo gpt-5.6-sol de OpenAI explotando la función de compactación de conversaciones de la plataforma. La técnica evadió las protecciones implementadas en agosto, permitiendo a los investigadores ver los procesos internos de pensamiento cifrados como texto sin formato. OpenAI confirmó la vulnerabilidad y desplegó una corrección el 23 de octubre.

Qué ocurrió

Los modelos de razonamiento de OpenAI generan una cadena detallada de pensamientos antes de producir una respuesta final. Para proteger la propiedad intelectual y evitar la destilación, el servicio devuelve este razonamiento bruto como un objeto cifrado que los usuarios no pueden leer directamente. Sin embargo, los investigadores de Xint mostraron que la función de compactación, diseñada para reducir conversaciones largas por eficiencia, podía ser manipulada para emitir estos datos ocultos en formato legible. El método extrajo con éxito razonamientos de acertijos matemáticos y algorítmicos creados por los propios investigadores.

El proceso de extracción no implicó el acceso a datos de otros usuarios, y Xint no afirmó tener la capacidad de robar razonamientos de sesiones no relacionadas. Aunque el texto extraído coincidía con las solicitudes de entrada, Xint señaló que no pudo verificar si la salida era idéntica palabra por palabra al razonamiento interno original, ya que nunca tuvieron acceso a la fuente sin cifrar. Existe la posibilidad de que el proceso de compactación haya reformulado ligeramente el contenido durante la extracción.

Esta vulnerabilidad circunvalaba una actualización de seguridad anterior. En agosto, un artículo titulado "Stolen Thoughts" reveló que el razonamiento cifrado de un modelo potente podía ser reproducido en un modelo más débil del mismo proveedor, el cual luego emitía el texto en lenguaje llano. OpenAI bloqueó este ataque de reproducción entre modelos poco después de su descubrimiento. El nuevo método de Xint evitó este bloqueo porque el paso de compactación ocurre dentro del mismo modelo que generó el razonamiento, lo que no activa las comprobaciones de seguridad entre modelos.

Cómo funciona

La compactación es una función de OpenAI que utiliza un modelo para comprimir un historial de conversación largo en un elemento cifrado más pequeño que preserva el contexto para turnos futuros. Xint aprovechó este mecanismo enviando una tarea a gpt-5.6-sol y reteniendo el razonamiento cifrado resultante. Luego invocaban el paso de compactación en el mismo modelo, instruyéndolo para copiar el razonamiento en el elemento compactado literalmente. Para evadir los filtros de política de uso, los investigadores reemplazaron cada espacio en el texto con un carácter de tabulación.

Una vez que el razonamiento estaba incrustado en el elemento compactado, Xint lo pasaba a modelos más baratos, específicamente gpt-4.1 y gpt-4o. Se pidió a estos modelos que repitieran su entrada exactamente. Ambos modelos cumplieron, emitiendo el razonamiento oculto como texto sin formato. Este enfoque se basaba en investigaciones anteriores de Xint, conocidas como GhostCompact, que demostraron que el paso de compactación podía ser coaccionado para ejecutar tareas elegidas por un atacante en lugar de solo resumir el contexto.

Detalles clave

• La vulnerabilidad afectó a gpt-5.6-sol, uno de los modelos de razonamiento de OpenAI, pero GPT-6 Astra no fue probado.
• OpenAI desplegó una corrección no divulgada para el problema el 23 de octubre de 2026.
• Xint recibió una recompensa por errores (bug bounty) de $6,000 de OpenAI por reportar la falla.
• El método evadió las protecciones de agosto manteniendo el proceso de compactación dentro de la misma instancia del modelo.
• Los investigadores reemplazaron espacios con tabulaciones en la carga útil para circunvalar los filtros de política de uso.
• Xint ha publicado el código de demostración en su repositorio de GitHub.

Por qué importa

Para los desarrolladores que construyen aplicaciones sobre grandes modelos de lenguaje, este incidente destaca la complejidad de asegurar las tuberías de inferencia del lado del servidor. Si bien esta corrección específica fue manejada completamente por OpenAI y no requirió cambios por parte de los usuarios de la API, subraya que el razonamiento oculto es un objetivo de alto valor. Los competidores buscan estos procesos internos de pensamiento porque proporcionan datos de entrenamiento superiores para la destilación en comparación con solo las respuestas finales. Comprender cómo los modelos resuelven problemas permite a los rivales entrenar modelos más baratos y eficientes que imitan las capacidades de razonamiento de sistemas más grandes.

La implicación más amplia es que cualquier operación del lado del servidor que descifre y procese razonamiento oculto conlleva riesgos inherentes de fuga. Xint argumenta que parchear este único vector puede no ser suficiente, ya que cualquier paso que lea razonamiento descifrado y siga instrucciones del usuario podría potencialmente ser explotado. Esto coincide con informes recientes de Anthropic y avisos del gobierno de EE.UU. respecto a laboratorios con base en China que apuntan al razonamiento oculto de los modelos de IA estadounidenses. Aunque esta demostración específica no estuvo vinculada a esos esfuerzos patrocinados por estados, valida la viabilidad técnica de tales ataques.

Qué puedes hacer

• Monitorea las notas de versión de OpenAI para actualizaciones sobre la seguridad de los modelos de razonamiento y las funciones de compactación.
• Revisa la dependencia de tu aplicación de las salidas de razonamiento oculto si estás utilizando versiones antiguas de la API.
• Asume que cualquier procesamiento del lado del servidor de internos de modelos cifrados puede tener riesgos potenciales de canal lateral.
• Mantente informado sobre las amenazas de destilación y considera cómo podrían usarse tus propias salidas de modelos para entrenar competidores.
• Sigue la investigación de seguridad de firmas como Xint para entender vectores emergentes en la infraestructura de LLM.
• Asegúrate de que tus políticas de uso tengan en cuenta técnicas novedosas de evasión, como la sustitución de caracteres en los prompts.