Kimi K3 sur Bedrock ajoute une inférence réservée à l'Inde pour une stricte résidence des données

Amazon Web Services a étendu son service Amazon Bedrock pour prendre en charge l'inférence locale du modèle de fondation Kimi K3 en Inde. Annoncée le 3 novembre 2026, cette mise à jour permet aux développeurs de traiter les données via le modèle open-weight de Moonshot AI tout en garantissant que tous les calculs restent strictement confinés aux régions AWS situées à Mumbai et Hyderabad. Cette initiative répond aux exigences critiques de résidence des données pour les organisations traitant des informations locales sensibles.

La nouvelle capacité utilise des profils d'inférence inter-régions (cross-Region inference profiles), une fonctionnalité gérée qui achemine de manière sécurisée les requêtes depuis une région source vers des régions de destination spécifiques sans exposer les données à Internet public. En sélectionnant le profil géographique India, les ingénieurs peuvent garantir la conformité de leurs charges de travail avec les réglementations locales tout en tirant parti des capacités avancées de codage et d'intelligence agentique de Kimi K3.

Ce qui s'est passé

Le modèle Kimi K3 de Moonshot AI est un modèle de fondation multimodal et open-weight reconnu pour ses performances élevées en codage et dans les tâches agentiques générales. Auparavant, l'inférence de ce modèle sur Amazon Bedrock était disponible via des profils globaux ou basés aux États-Unis. La dernière mise à jour introduit un profil d'inférence géographique dédié à l'Inde, identifié comme in.moonshotai.kimi-k3. Ce profil garantit que toute requête invoquée via celui-ci est traitée exclusivement dans les régions AWS Asie-Pacifique (Mumbai) ou Asie-Pacifique (Hyderabad).

Cette évolution est particulièrement significative pour les industries soumises à des lois strictes sur la souveraineté des données, telles que la santé et les services financiers. Aditya Patawari, VP Engineering chez Ultrahuman, a souligné l'impact pratique de cette intégration. Il a noté que leur assistant de santé IA, Jade, traite plus de 14 000 conversations par jour en utilisant des données de santé personnelles provenant de dispositifs Ring et de moniteurs de glucose. En utilisant Kimi K3 sur Amazon Bedrock avec le profil India, Ultrahuman maintient ces données de santé sensibles au sein de l'infrastructure AWS à Mumbai, satisfaisant ainsi les besoins de conformité tout en conservant une faible latence.

Patawari a également rapporté des gains d'efficacité substantiels. En mettant en œuvre la mise en cache des prompts (prompt caching) parallèlement à la nouvelle configuration d'inférence, Ultrahuman a réduit ses coûts liés aux grands modèles de langage (LLM) de 80 % et accéléré les réponses des chats multi-tours de 85 %. Cela démontre que les contraintes de résidence des données ne compromettent pas nécessairement les performances ou la rentabilité lorsqu'on utilise une infrastructure cloud optimisée.

Comment cela fonctionne

Amazon Bedrock gère l'inférence inter-régions via des canaux sécurisés et chiffrés qui restent entièrement au sein du réseau AWS. Lorsqu'un développeur envoie une requête depuis n'importe quelle région source prise en charge, il spécifie un ID de profil d'inférence. Si le profil in.moonshotai.kimi-k3 est utilisé, Bedrock achemine automatiquement la requête vers la région Mumbai ou Hyderabad pour traitement. Aucune configuration complexe de peering VPC (virtual private cloud) ou de réseau n'est requise de la part de l'utilisateur, car AWS gère la sécurité du transit en interne.

Le modèle prend en charge plusieurs formats d'API, y compris les APIs Chat Completions et Responses compatibles OpenAI, ainsi que les APIs natives Converse et InvokeModel de Bedrock. Pour les développeurs Python, cela signifie qu'ils peuvent utiliser des bibliothèques standard comme openai en ajustant simplement l'URL de base pour pointer vers le point de terminaison d'exécution Bedrock dans la région source et en fournissant un jeton à courte durée de vie dérivé des identifiants AWS. L'ID du profil d'inférence est transmis en tant qu'identifiant de modèle, garantissant que la logique de routage backend applique les bonnes contraintes géographiques.

Kimi K3 est nativement multimodal, ce qui signifie qu'il peut traiter directement les images, les PDF et le texte sans nécessiter de services séparés de reconnaissance optique de caractères (OCR). Dans un flux de travail démontré, le modèle a analysé une facture d'électricité scannée en hindi, extrait des données structurées telles que les noms des consommateurs et les montants facturés, et répondu à des questions de suivi en Hinglish (un mélange d'hindi et d'anglais). Le système peut normaliser les chiffres devanagari en numéraux occidentaux et transcrire les noms, offrant ainsi un pipeline unifié pour la compréhension de documents et l'extraction de données.

Détails clés

• ID de profil d'inférence : Utilisez in.moonshotai.kimi-k3 pour restreindre le traitement aux régions Mumbai et Hyderabad.
• Sécurité des données : Les données restent chiffrées lors du transit au sein du réseau AWS et ne traversent jamais Internet public.
• Optimisation des coûts : La mise en cache des prompts peut réduire les coûts des LLM jusqu'à 80 % et améliorer la vitesse de réponse de 85 %, comme observé dans les cas d'utilisation en production.
• Prise en charge multimodale : Le modèle accepte directement les images et les PDF, permettant l'OCR et la compréhension de documents sans outils externes.
• Compatibilité API : Prend en charge les APIs compatibles OpenAI, facilitant l'intégration avec les clients et frameworks Python existants.
• Niveaux de service : Les développeurs peuvent choisir entre le niveau "flex" pour une remise de 50 % sur les tâches non urgentes ou le niveau "priority" pour une latence réduite.

Pourquoi c'est important

Pour les architectes logiciels et les responsables techniques développant des produits sur des marchés régulés, cette mise à jour supprime un obstacle majeur à l'adoption de modèles open-weight avancés. Auparavant, les équipes devaient souvent choisir entre utiliser des modèles globaux puissants risquant de violer les lois sur la résidence des données ou se contenter de modèles locaux moins performants. Avec le profil d'inférence spécifique à l'Inde, les ingénieurs peuvent tirer parti d'une intelligence de pointe pour des tâches telles que l'analyse complexe de documents et les workflows agentiques tout en maintenant une stricte conformité avec les réglementations locales sur la protection des données.

La capacité de gérer nativement des entrées multilingues et multimodales simplifie également l'architecture des applications. Au lieu de chaîner des services distincts pour l'OCR, la traduction et la modélisation linguistique, les développeurs peuvent effectuer un seul appel API pour extraire des données structurées de documents scannés dans des langues indicatives. Cette réduction de complexité diminue les frais généraux de maintenance et les points de défaillance potentiels, facilitant la création d'applications robustes pour des secteurs comme la banque, l'assurance et les services publics où les dossiers papier sont encore courants.

Ce que vous pouvez faire

• Mettez à jour vos politiques AWS Identity and Access Management (IAM) pour autoriser bedrock:InvokeModel pour l'ARN de ressource in.moonshotai.kimi-k3.
• Configurez le client API de votre application pour utiliser la région ap-south-1 (Mumbai) comme point de terminaison source pour Bedrock Runtime.
• Implémentez une mise en cache explicite des prompts en marquant les prompts système statiques avec des points d'arrêt pour maximiser les économies de coûts et les améliorations de latence.
• Testez les entrées multimodales en envoyant des images encodées en base64 de documents locaux pour vérifier la précision de l'extraction structurée pour votre cas d'utilisation spécifique.
• Surveillez les métriques d'utilisation via Amazon CloudWatch sous l'espace de nommage AWS/Bedrock pour suivre la consommation de tokens et les taux de réussite du cache.
• Évaluez le niveau de service "flex" pour les tâches de traitement en arrière-plan afin de réduire les coûts de 50 % lorsque la réponse en temps réel n'est pas critique.