Kimi K3 en Bedrock añade inferencia exclusiva para India con estricta residencia de datos

Amazon Web Services ha ampliado su servicio Amazon Bedrock para admitir la inferencia dentro del país para el modelo fundacional Kimi K3 en India. Anunciada el 3 de noviembre de 2026, esta actualización permite a los desarrolladores procesar datos utilizando el modelo de pesos abiertos de Moonshot AI, garantizando que todo el cómputo permanezca estrictamente dentro de las regiones de AWS ubicadas en Mumbai y Hyderabad. Esta medida aborda los requisitos críticos de residencia de datos para organizaciones que manejan información local sensible.

La nueva capacidad utiliza perfiles de inferencia entre regiones (cross-Region), una función gestionada que enruta de forma segura las solicitudes desde una región de origen hacia regiones de destino específicas sin exponer los datos a internet público. Al seleccionar el perfil geográfico de India, los ingenieros pueden garantizar que sus cargas de trabajo cumplan con las regulaciones locales mientras aprovechan las avanzadas capacidades de codificación e inteligencia agéntica de Kimi K3.

Qué ocurrió

Kimi K3 de Moonshot AI es un modelo fundacional multimodal y de pesos abiertos conocido por su sólido rendimiento en tareas de codificación y agentes generales. Anteriormente, la inferencia para este modelo en Amazon Bedrock estaba disponible a través de perfiles globales o basados en EE. UU. La última actualización introduce un perfil de inferencia geográfica dedicado para India, identificado como in.moonshotai.kimi-k3. Este perfil asegura que cualquier solicitud invocada a través de él sea procesada exclusivamente en las regiones de AWS Asia Pacífico (Mumbai) o Asia Pacífico (Hyderabad).

Este desarrollo es particularmente significativo para industrias con leyes estrictas de soberanía de datos, como la sanidad y los servicios financieros. Aditya Patawari, VP de Ingeniería en Ultrahuman, destacó el impacto práctico de esta integración. Señaló que su asistente de salud basado en IA, Jade, procesa más de 14.000 conversaciones diarias utilizando datos personales de salud provenientes de dispositivos Ring y monitores de glucosa. Al usar Kimi K3 en Amazon Bedrock con el perfil de India, Ultrahuman mantiene estos datos sensibles de salud dentro de la infraestructura de AWS en Mumbai, satisfaciendo las necesidades de cumplimiento normativo mientras mantiene una baja latencia.

Patawari también reportó ganancias sustanciales de eficiencia. Al implementar el almacenamiento en caché de prompts junto con la nueva configuración de inferencia, Ultrahuman redujo sus costos de modelos de lenguaje grandes (LLM) en un 80 por ciento y aceleró las respuestas de chat multi-turno en un 85 por ciento. Esto demuestra que las restricciones de residencia de datos no necesariamente comprometen el rendimiento o la rentabilidad cuando se utiliza infraestructura cloud optimizada.

Cómo funciona

Amazon Bedrock gestiona la inferencia entre regiones mediante canales seguros y cifrados que permanecen completamente dentro de la red de AWS. Cuando un desarrollador envía una solicitud desde cualquier región de origen compatible, especifica un ID de perfil de inferencia. Si se usa el perfil in.moonshotai.kimi-k3, Bedrock enruta automáticamente la solicitud a la región de Mumbai o Hyderabad para su procesamiento. No se requiere peering adicional de VPC (virtual private cloud) ni configuraciones complejas de red por parte del usuario, ya que AWS maneja la seguridad del tránsito internamente.

El modelo admite múltiples formatos de API, incluidas las APIs Chat Completions y Responses compatibles con OpenAI, así como las APIs nativas de Bedrock Converse e InvokeModel. Para los desarrolladores de Python, esto significa que pueden usar bibliotecas estándar como openai simplemente ajustando la URL base para apuntar al endpoint de tiempo de ejecución de Bedrock en la región de origen y proporcionando un token de corta duración derivado de las credenciales de AWS. El ID del perfil de inferencia se pasa como identificador del modelo, asegurando que la lógica de enrutamiento del backend aplique las restricciones geográficas correctas.

Kimi K3 es nativamente multimodal, lo que significa que puede procesar imágenes, PDFs y texto directamente sin requerir servicios separados de reconocimiento óptico de caracteres (OCR). En un flujo de trabajo demostrado, el modelo analizó una factura de electricidad escaneada en hindi, extrajo datos estructurados como nombres de consumidores e importes de facturación, y respondió preguntas de seguimiento en Hinglish (una mezcla de hindi e inglés). El sistema puede normalizar dígitos devanagari a numerales occidentales y transliterar nombres, proporcionando un pipeline unificado para la comprensión de documentos y la extracción de datos.

Detalles clave

• ID del Perfil de Inferencia: Use in.moonshotai.kimi-k3 para restringir el procesamiento a las regiones de Mumbai y Hyderabad.
• Seguridad de Datos: Los datos permanecen cifrados en tránsito dentro de la red de AWS y nunca atraviesan internet público.
• Optimización de Costos: El almacenamiento en caché de prompts puede reducir los costos de LLM hasta en un 80 por ciento y mejorar la velocidad de respuesta en un 85 por ciento, según casos de uso en producción.
• Soporte Multimodal: El modelo acepta imágenes y PDFs directamente, habilitando OCR y comprensión de documentos sin herramientas externas.
• Compatibilidad con API: Admite APIs compatibles con OpenAI, permitiendo una fácil integración con clientes y frameworks existentes en Python.
• Niveles de Servicio: Los desarrolladores pueden elegir entre el nivel "flex" para obtener un descuento del 50 por ciento en tareas no urgentes o el nivel "priority" para menor latencia.

Por qué importa

Para arquitectos de software y líderes técnicos que construyen productos en mercados regulados, esta actualización elimina una barrera importante para adoptar modelos avanzados de pesos abiertos. Anteriormente, los equipos a menudo tenían que elegir entre usar potentes modelos globales que podrían violar las leyes de residencia de datos o conformarse con modelos locales menos capaces. Con el perfil de inferencia específico para India, los ingenieros pueden aprovechar inteligencia de frontera para tareas como análisis complejo de documentos y flujos de trabajo agénticos mientras mantienen un cumplimiento estricto con las regulaciones locales de protección de datos.

La capacidad de manejar entradas multilingües y multimodales de forma nativa también simplifica la arquitectura de aplicaciones. En lugar de encadenar servicios separados para OCR, traducción y modelado de lenguaje, los desarrolladores pueden usar una sola llamada a la API para extraer datos estructurados de documentos escaneados en lenguas indias. Esta reducción en la complejidad disminuye la sobrecarga de mantenimiento y los posibles puntos de fallo, facilitando la construcción de aplicaciones robustas para sectores como banca, seguros y servicios públicos donde los registros en papel aún son comunes.

Qué puede hacer

• Actualice sus políticas de AWS Identity and Access Management (IAM) para permitir bedrock:InvokeModel para el ARN del recurso in.moonshotai.kimi-k3.
• Configure el cliente de API de su aplicación para usar la región ap-south-1 (Mumbai) como endpoint de origen para Bedrock Runtime.
• Implemente explícitamente el almacenamiento en caché de prompts marcando los prompts de sistema estáticos con puntos de interrupción para maximizar el ahorro de costos y las mejoras de latencia.
• Pruebe entradas multimodales enviando imágenes codificadas en base64 de documentos locales para verificar la precisión de la extracción estructurada para su caso de uso específico.
• Monitoree métricas de uso a través de Amazon CloudWatch bajo el espacio de nombres AWS/Bedrock para rastrear el consumo de tokens y las tasas de aciertos de caché.
• Evalúe el nivel de servicio "flex" para tareas de procesamiento en segundo plano para reducir costos en un 50 por ciento donde la respuesta en tiempo real no sea crítica.