Anthropic reduce la latencia de Claude Code con hilos de mensajes en el servidor

Anthropic ha lanzado los hilos de mensajes, una nueva función para su API Messages diseñada para acelerar las sesiones de IA de larga duración mediante la reducción de la transmisión redundante de datos. Disponible ahora en beta pública, esta actualización ya está activa para la mayoría de los usuarios de Claude Code y busca reducir el tiempo que tarda el modelo en comenzar a responder.

Qué ocurrió

El problema central abordado por esta actualización es la ineficiencia de las interacciones tradicionales con la API durante tareas extendidas. Anteriormente, cada solicitud enviada a Claude requería que el cliente cargara todo el historial de la conversación, incluyendo todos los mensajes previos, llamadas a herramientas e instrucciones del sistema. A medida que un agente de codificación trabaja en tareas complejas, leyendo archivos y realizando ediciones, este historial crece rápidamente. Cuando una sesión alcanza los 500.000 tokens, cada nueva solicitud implica volver a cargar esa gran cantidad de datos, que la API debe validar y tokenizar antes de que pueda comenzar el procesamiento.

Los hilos de mensajes cambian esta dinámica al permitir que Anthropic retenga temporalmente el historial de la conversación en sus servidores. La solicitud inicial aún envía el contexto completo, pero las solicitudes posteriores solo necesitan incluir los nuevos mensajes y una referencia al ID de la respuesta anterior. Anthropic reconstruye la conversación completa en el lado del servidor antes de pasarla al modelo. Este cambio ha reducido el tiempo mediano hasta el primer token en aproximadamente un 35% para las solicitudes de Claude Code que contienen entre 500.000 y 1 millón de tokens.

Si bien la función reduce significativamente la latencia y el volumen de transferencia de datos, no disminuye los costos de la API. Anthropic sigue cobrando por todos los tokens procesados por el modelo, independientemente de la cantidad de datos que suba el cliente. La empresa señala que los desarrolladores pueden combinar los hilos de mensajes con el almacenamiento en caché de prompts (prompt caching) para potencialmente reducir costos, ya que ambas funciones abordan aspectos diferentes del rendimiento y la facturación.

Cómo funciona

Técnicamente, los hilos de mensajes introducen un nuevo parámetro en la API Messages. Para iniciar un hilo, los desarrolladores incluyen thread={"type": "create"} en su solicitud inicial junto con el historial completo de la conversación. Para los turnos siguientes, utilizan thread={"type": "continue", "previous_message_id": [ID]}, enviando solo la nueva entrada. La API retiene el contexto anterior, las instrucciones del sistema y las definiciones de herramientas en la memoria del servidor, eliminando la necesidad de cargas repetidas.

Para quienes usan el SDK de Python, un asistente de hilos simplifica este proceso. Al inicializar un hilo mediante client.beta.messages.thread(), el SDK gestiona automáticamente la lógica de creación y continuación, incluida la adición del encabezado beta requerido anthropic-beta: message-threads-2026-08-12. Esta abstracción permite a los desarrolladores centrarse en enviar mensajes mediante thread.send() sin tener que rastrear manualmente los IDs de respuesta ni manejar parámetros de bajo nivel de la API.

Detalles clave

• Los hilos de mensajes están disponibles en beta pública para todos los modelos de Claude, incluidos aquellos en AWS, Microsoft Foundry y Google Cloud.
• La función reduce el tiempo mediano hasta el primer token en aproximadamente un 35% para contextos grandes de entre 500.000 y 1 millón de tokens.
• Los hilos expiran después de cinco minutos de inactividad, lo que requiere reenviar todo el historial si la pausa supera este límite.
• El uso de tokens y la facturación permanecen sin cambios porque Claude sigue procesando todo el historial de la conversación en cada turno.
• El contenido de los hilos se cifra y se almacena en la memoria del servidor durante hasta una hora después del último uso, pero no se escribe en almacenamiento persistente.
• La función es actualmente incompatible con políticas de retención cero de datos y requisitos de cumplimiento HIPAA.

Por qué importa

Para los ingenieros que construyen agentes de IA, especialmente aquellos que involucran el uso de computadoras o tareas de codificación de larga duración, la latencia es un cuello de botella crítico. Guillaume Lebedel, CTO de StackOne, ilustró el posible impacto estimando que un agente de uso de computadora que captura capturas de pantalla podría reducir las cargas acumuladas de datos de 191 MB a 7,5 MB en una sesión de 50 pasos. Esta drástica reducción en la carga de red significa tiempos de ida y vuelta más rápidos y agentes más receptivos, incluso si el costo computacional en el lado de Anthropic permanece igual.

Sin embargo, la ventana de expiración de cinco minutos introduce una restricción que los desarrolladores deben considerar en la lógica de sus aplicaciones. Si bien los agentes continuos rara vez alcanzarán este límite, las herramientas interactivas utilizadas por humanos podrían enfrentar interrupciones. Si un desarrollador se aleja para tomar un café, el hilo expira y la siguiente solicitud debe volver a cargar todo el historial. Aunque el SDK maneja esto elegantemente estableciendo un nuevo hilo, el retraso inicial después de una pausa será mayor hasta que el hilo se restablezca.

Qué puedes hacer

• Actualiza tu SDK de Python de Anthropic a la última versión para acceder al asistente client.beta.messages.thread().
• Refactoriza los bucles de agentes de larga duración para usar el asistente de hilos, asegurándote de pasar el encabezado betas=["message-threads-2026-08-12"] si realizas llamadas directas a la API.
• Monitorea los tiempos de inactividad de tu agente e implementa la gestión de estado local para manejar la expiración de hilos correctamente al reanudar sesiones.
• Combina los hilos de mensajes con el almacenamiento en caché de prompts para contenido estático como instrucciones del sistema, optimizando tanto la latencia como el costo.
• Revisa tus requisitos de cumplimiento de datos, ya que los hilos de mensajes no son adecuados actualmente para entornos regulados por HIPAA o de retención cero.
• Prueba la función con cargas de trabajo de contexto grande para medir la mejora real en el tiempo hasta el primer token para tu caso de uso específico.