Moonshot AI lanza Kimi K3.1 Pro Highspeed en Amazon Bedrock

Moonshot AI ha lanzado Kimi K3.1 Pro Highspeed en Amazon Bedrock, ampliando la disponibilidad de su último modelo de lenguaje grande (LLM) de pesos abiertos. Esta nueva variante, parte de la serie K3.1, está diseñada para ofrecer tasas de generación de tokens de salida significativamente más altas manteniendo las capacidades existentes de la arquitectura para el razonamiento en contextos largos y tareas profesionales complejas.

El lanzamiento se dirige a desarrolladores que construyen sistemas agénticos y asistentes de programación que necesitan ciclos de iteración más rápidos sin sacrificar la capacidad del modelo para manejar ventanas de contexto de un millón de tokens o dominios especializados como scripts de diseño asistido por computadora.

Qué ha ocurrido

Kimi K3.1 Pro Highspeed es una versión post-entrenada del modelo base Kimi K3, que utiliza la misma arquitectura de pesos abiertos de clase 3T y soporta una ventana de contexto de hasta un millón de tokens. Moonshot AI aplicó sustancialmente más cómputo durante la fase de post-entrenamiento para reducir los errores factuales y mejorar el rendimiento en trabajos agénticos de largo horizonte. La empresa informa que esta variante específica genera tokens de salida a una velocidad dos o tres veces más rápida que el estándar Kimi K3.1 Pro.

El modelo es accesible a través de Amazon Bedrock mediante perfiles de inferencia entre regiones. Los desarrolladores pueden enrutar solicitudes vía global.moonshotai.kimi-k3.1 para menores costes en las regiones comerciales compatibles, o usar us.moonshotai.kimi-k3.1 e in.moonshotai.kimi-k3.1 para mantener el procesamiento de datos dentro de Estados Unidos o India, respectivamente. Estos perfiles geográficos abordan requisitos específicos de residencia de datos mientras proporcionan acceso a las mismas capacidades subyacentes del modelo.

La integración requiere cambios mínimos para los usuarios existentes. El modelo comparte endpoints, APIs y funciones con versiones anteriores de Kimi en Bedrock. Los desarrolladores que ya usan Kimi K3 pueden cambiar a la variante Highspeed simplemente actualizando el ID del modelo en su código. El modelo soporta llamadas a herramientas, salida estructurada, entrada de imágenes, streaming y esfuerzos de razonamiento configurables, permitiendo integrarse en diversas arquitecturas de aplicación sin requerir refactorizaciones significativas.

Cómo funciona

El modelo opera con un paso de razonamiento integrado antes de generar las respuestas finales, una función controlada por el parámetro reasoning_effort. Los desarrolladores pueden establecerlo en low, high o max, siendo max el valor predeterminado. Reducir el nivel de esfuerzo disminuye la latencia y el recuento de tokens de salida para consultas más simples, mientras que niveles más altos activan un procesamiento lógico más profundo para problemas complejos. Este mecanismo permite a las aplicaciones equilibrar dinámicamente la precisión y la velocidad según la tarea en cuestión.

La optimización de costes se logra mediante dos mecanismos principales: el nivel Flex y el almacenamiento en caché explícito de prompts. El nivel Flex ofrece inferencia a la mitad del precio Standard, aunque puede resultar en tiempos de respuesta más largos. Esto lo hace adecuado para tareas en segundo plano, evaluaciones de modelos o resumen donde la latencia inmediata es menos crítica. Además, el almacenamiento en caché explícito de prompts permite a los desarrolladores marcar prefijos estables en sus prompts, como instrucciones del sistema o directrices del repositorio. El sistema almacena en caché estos segmentos durante al menos 30 minutos, cobrando una tarifa con descuento por lecturas de caché y excluyéndolas de las cuotas de tokens de entrada, lo que reduce significativamente los costes para flujos de trabajo agénticos repetitivos.

Detalles clave

• Kimi K3.1 Pro Highspeed reporta una velocidad de salida 2–3 veces mayor que Kimi K3.1 Pro.
• El modelo soporta una ventana de contexto de 1 millón de tokens y usa una arquitectura de pesos abiertos de clase 3T.
• Los datos procesados en Amazon Bedrock permanecen dentro del límite de datos de AWS y no se comparten con Moonshot AI ni se utilizan para entrenamiento.
• El nivel de servicio Flex proporciona inferencia al 50% del precio Standard, ideal para cargas de trabajo no críticas en latencia.
• El almacenamiento en caché explícito de prompts requiere al menos 256 tokens de contenido estable y retiene los datos en caché durante un mínimo de 30 minutos.
• La integración está disponible mediante APIs Chat Completions y Responses compatibles con OpenAI, así como las APIs Converse de Amazon Bedrock.

Por qué importa

Para ingenieros que construyen agentes autónomos, la velocidad de salida es un cuello de botella crítico. Los flujos de trabajo agénticos a menudo implican llamadas secuenciales donde el modelo lee archivos, planifica cambios, edita código y ejecuta pruebas. Cada paso debe completarse antes de que comience el siguiente, lo que significa que una generación de tokens más rápida acorta directamente todo el ciclo de edición-prueba-corrección. Al duplicar o triplicar la velocidad de salida, Kimi K3.1 Pro Highspeed puede reducir significativamente el tiempo de espera para desarrolladores que interactúan con asistentes de programación o herramientas de depuración automatizadas.

La introducción del nivel Flex y el almacenamiento en caché explícito también aborda los desafíos económicos de desplegar modelos de gran contexto. Los sistemas agénticos frecuentemente reenvían grandes bloques de contexto estático, como documentación o estructuras de bases de código, con cada solicitud. Sin caché, esto conduce a costes de procesamiento redundantes. Al permitir a los desarrolladores marcar explícitamente estas secciones estables, AWS posibilita facturas de inferencia más predecibles y bajas, haciendo viable ejecutar agentes complejos de larga duración en entornos de producción sin gastos prohibitivos.

Qué puedes hacer

• Actualiza tu integración existente en Bedrock cambiando el ID del modelo a global.moonshotai.kimi-k3.1 o un equivalente regional.
• Experimenta con el parámetro reasoning_effort, estableciéndolo en low para tareas simples para reducir la latencia y el uso de tokens.
• Implementa el nivel Flex para trabajos en segundo plano estableciendo service_tier en flex en tus solicitudes API.
• Usa el almacenamiento en caché explícito de prompts para instrucciones del sistema y documentos de referencia añadiendo marcadores prompt_cache_breakpoint después de al menos 256 tokens de contenido estable.
• Monitoriza tus patrones de uso usando las dimensiones CloudWatch ServiceTier y ResolvedServiceTier para optimizar la mezcla de tráfico Standard y Flex.
• Conecta agentes de programación de código abierto como OpenCode a Bedrock usando tokens portadores de corto plazo para asistencia segura en desarrollo local.