Moonshot AI lance Kimi K3.1 Pro Highspeed sur Amazon Bedrock

Moonshot AI a publié Kimi K3.1 Pro Highspeed sur Amazon Bedrock, élargissant la disponibilité de son dernier grand modèle de langage à poids ouverts. Cette nouvelle variante, issue de la série K3.1, est conçue pour offrir des taux de génération de jetons de sortie nettement supérieurs tout en conservant les capacités existantes de l'architecture pour le raisonnement en contexte long et les tâches professionnelles complexes.

Cette version cible les développeurs qui créent des systèmes agentiques et des assistants de codage nécessitant des cycles d'itération plus rapides, sans sacrifier la capacité du modèle à gérer des fenêtres de contexte d'un million de jetons ni des domaines spécialisés comme les scripts de conception assistée par ordinateur.

Ce qu'il s'est passé

Kimi K3.1 Pro Highspeed est une version post-entraînée du modèle de base Kimi K3, utilisant la même architecture à poids ouverts de classe 3T et supportant une fenêtre de contexte allant jusqu'à un million de jetons. Moonshot AI a consacré une puissance de calcul substantiellement supérieure lors de la phase de post-entraînement afin de réduire les erreurs factuelles et d'améliorer les performances dans les travaux agentiques à long terme. L'entreprise indique que cette variante spécifique génère des jetons de sortie à un rythme deux à trois fois plus rapide que le Kimi K3.1 Pro standard.

Le modèle est accessible via Amazon Bedrock en utilisant des profils d'inférence inter-régions. Les développeurs peuvent router les requêtes via global.moonshotai.kimi-k3.1 pour des coûts réduits dans les régions commerciales prises en charge, ou utiliser us.moonshotai.kimi-k3.1 et in.moonshotai.kimi-k3.1 pour maintenir le traitement des données respectivement aux États-Unis ou en Inde. Ces profils géographiques répondent à des exigences spécifiques de résidence des données tout en offrant un accès aux mêmes capacités fondamentales du modèle.

L'intégration nécessite des modifications minimes pour les utilisateurs existants. Le modèle partage les points de terminaison, les API et les fonctionnalités avec les versions précédentes de Kimi sur Bedrock. Les développeurs utilisant déjà Kimi K3 peuvent passer à la variante Highspeed simplement en mettant à jour l'ID du modèle dans leur code. Le modèle prend en charge l'appel d'outils, la sortie structurée, l'entrée d'image, le streaming et les efforts de raisonnement configurables, ce qui lui permet de s'adapter à diverses architectures d'applications sans nécessiter de refactoring significatif.

Comment cela fonctionne

Le modèle opère avec une étape de raisonnement intégrée avant de générer les réponses finales, une fonctionnalité contrôlée par le paramètre reasoning_effort. Les développeurs peuvent définir ce paramètre sur low, high ou max, max étant la valeur par défaut. Diminuer le niveau d'effort réduit la latence et le nombre de jetons de sortie pour les requêtes simples, tandis que des niveaux plus élevés engagent un traitement logique plus profond pour les problèmes complexes. Ce mécanisme permet aux applications d'équilibrer dynamiquement précision et vitesse en fonction de la tâche à accomplir.

L'optimisation des coûts est obtenue grâce à deux mécanismes principaux : le palier Flex et la mise en cache explicite des prompts. Le palier Flex offre une inférence à la moitié du prix Standard, bien qu'il puisse entraîner des temps de réponse plus longs. Cela le rend adapté aux tâches en arrière-plan, aux évaluations de modèles ou aux résumés où la latence immédiate est moins critique. De plus, la mise en cache explicite des prompts permet aux développeurs de marquer les préfixes stables dans leurs prompts, tels que les instructions système ou les directives de dépôt. Le système met en cache ces segments pendant au moins 30 minutes, appliquant un tarif réduit pour les lectures du cache et les excluant des quotas de jetons d'entrée, ce qui réduit considérablement les coûts pour les flux de travail agentiques répétitifs.

Détails clés

• Kimi K3.1 Pro Highspeed affiche une vitesse de sortie 2 à 3 fois supérieure à celle de Kimi K3.1 Pro.
• Le modèle supporte une fenêtre de contexte d'un million de jetons et utilise une architecture à poids ouverts de classe 3T.
• Les données traitées sur Amazon Bedrock restent dans la frontière de données AWS et ne sont pas partagées avec Moonshot AI ni utilisées pour l'entraînement.
• Le palier de service Flex fournit une inférence à 50 % du prix Standard, idéal pour les charges de travail non critiques en termes de latence.
• La mise en cache explicite des prompts nécessite au moins 256 jetons de contenu stable et conserve les données mises en cache pendant un minimum de 30 minutes.
• L'intégration est disponible via les API Chat Completions et Responses compatibles OpenAI, ainsi que les API Converse d'Amazon Bedrock.

Pourquoi c'est important

Pour les ingénieurs construisant des agents autonomes, la vitesse de sortie constitue un goulot d'étranglement critique. Les flux de travail agentiques impliquent souvent des appels séquentiels où le modèle lit des fichiers, planifie des modifications, édite du code et exécute des tests. Chaque étape doit se terminer avant que la suivante ne commence, ce qui signifie qu'une génération de jetons plus rapide raccourcit directement l'ensemble de la boucle édition-test-correction. En doublant ou triplant la vitesse de sortie, Kimi K3.1 Pro Highspeed peut réduire significativement le temps d'attente pour les développeurs interagissant avec des assistants de codage ou des outils de débogage automatisés.

L'introduction du palier Flex et de la mise en cache explicite répond également aux défis économiques liés au déploiement de grands modèles de contexte. Les systèmes agentiques renvoient fréquemment de gros blocs de contexte statique, tels que la documentation ou les structures de base de code, à chaque requête. Sans mise en cache, cela entraîne des coûts de traitement redondants. En permettant aux développeurs de marquer explicitement ces sections stables, AWS autorise des factures d'inférence plus prévisibles et moins élevées, rendant viable l'exécution d'agents complexes et longue durée dans des environnements de production sans dépenses prohibitives.

Ce que vous pouvez faire

• Mettez à jour votre intégration Bedrock existante en changeant l'ID du modèle pour global.moonshotai.kimi-k3.1 ou un équivalent régional.
• Expérimentez avec le paramètre reasoning_effort, en le définissant sur low pour les tâches simples afin de réduire la latence et l'utilisation de jetons.
• Implémentez le palier Flex pour les jobs en arrière-plan en définissant service_tier sur flex dans vos requêtes API.
• Utilisez la mise en cache explicite des prompts pour les prompts système et les documents de référence en ajoutant des marqueurs prompt_cache_breakpoint après au moins 256 jetons de contenu stable.
• Surveillez vos schémas d'utilisation à l'aide des dimensions CloudWatch ServiceTier et ResolvedServiceTier pour optimiser le mélange de trafic Standard et Flex.
• Connectez des agents de codage open source comme OpenCode à Bedrock en utilisant des jetons porteurs à court terme pour une assistance de développement local sécurisée.