Développer avec l’IA

Airbnb utilise le coût par tâche pour gérer les agents de codage sur Amazon Bedrock

Airbnb évalue les modèles d'agents de codage à l'aide de métriques de coût par tâche et de signaux CloudWatch pour définir les valeurs par défaut et surveiller les performances en production sur Amazon Bedrock.

Un tableau de bord affichant les métriques de coût et de tokens au-dessus de fichiers de code.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Airbnb a détaillé sa stratégie pour faire fonctionner des agents de codage internes à grande échelle, en se concentrant sur une métrique appelée « coût par tâche » pour guider la sélection des modèles. L'équipe d'ingénierie exécute ces agents via un outil interne nommé AirChat, qui se connecte à Amazon Bedrock pour l'inférence des grands modèles de langage (LLM). En combinant les évaluations pré-déploiement avec la surveillance en temps réel de la production, l'entreprise gère la latence, la capacité et les dépenses à mesure que de nouveaux modèles sont publiés.

Ce qui s'est passé

Des milliers d'ingénieurs et de collaborateurs techniques chez Airbnb utilisent AirChat chaque semaine pour assister aux tâches de développement logiciel. Cette plateforme interne permet aux utilisateurs d'exécuter des agents de codage soit sur leurs machines de développement cloud personnelles, connues sous le nom d'espaces de travail AirDev, soit via AirChat Remote, qui exécute les tâches dans des environnements cloud séparés. Toutes les demandes de modèle provenant de ces agents passent par une passerelle centrale de grands modèles de langage qui route le trafic vers Amazon Bedrock. Cette configuration garantit que les prompts, le code et les réponses du modèle restent au sein de l'infrastructure AWS, tirant parti de ses contrôles d'accès et de ses capacités de surveillance.

Le paysage des modèles fondamentaux disponibles évolue rapidement. Au cours d'une période récente de cinq semaines, huit nouveaux modèles ont été publiés sur Amazon Bedrock. À la mi-octobre, environ deux tiers des demandes envoyées par les ingénieurs via les agents de codage étaient dirigées vers ces modèles nouvellement publiés. Chaque nouvelle publication de modèle introduit des variations dans le nombre de tokens de sortie, les coûts, la latence et les limites de capacité. Les graphiques de référence fournis par les éditeurs de modèles ne reflètent souvent pas comment un modèle performe sur des flux de travail d'ingénierie internes spécifiques. Pour combler cette lacune, Airbnb met en place des systèmes parallèles : l'un pour évaluer les modèles avant leur déploiement et l'autre pour observer leur comportement en production.

Avant de déployer un nouveau modèle comme valeur par défaut, l'équipe effectue des évaluations sur un ensemble fixe de tâches représentatives. Ces évaluations mesurent à la fois le score de qualité et le coût par tâche pour chaque modèle et niveau d'effort de raisonnement. Après le déploiement, les outils d'observabilité suivent les modèles d'utilisation réels. Si les données de production divergent des résultats d'évaluation, les ingénieurs investiguent l'écart pour comprendre pourquoi. Cette boucle de rétroaction continue permet à l'équipe d'ajuster les valeurs par défaut des modèles et les plafonds d'effort en fonction des performances réelles plutôt que sur des références statiques.

Comment cela fonctionne

Le cœur de la stratégie d'Airbnb est la métrique « coût par tâche ». Un agent de codage nécessite généralement plusieurs requêtes pour accomplir une seule tâche, et le modèle relit le contexte accumulé à chaque requête. Par conséquent, tarifer les requêtes individuelles est insuffisant. À la place, l'équipe calcule le coût total au prix catalogue de tous les tokens utilisés pour terminer une tâche. Amazon Bedrock signale quatre types de tokens pour chaque requête : entrée non mise en cache, lectures de cache, écritures de cache et sortie. Chaque type a un point de prix différent. Les lectures de cache sont moins chères que les entrées non mises en cache, tandis que les écritures de cache peuvent être plus coûteuses selon le modèle. Un taux de réussite de cache inférieur peut augmenter considérablement le coût par requête, il est donc essentiel de suivre ces composants.

Pour évaluer les modèles, Airbnb utilise un framework appelé Harbor, un outil open source pour exécuter des évaluations d'agents dans des sandboxs. Chaque tâche d'évaluation est définie comme un dossier contenant les instructions, la configuration de l'environnement, les tests et un correcteur (grader). Le correcteur est un programme ou un modèle qui note le travail de l'agent par rapport à une solution de référence. Par exemple, une tâche d'apprentissage automatique pourrait demander à un agent de comparer deux modèles candidats et de décider s'il faut déployer un nouveau modèle. Le correcteur recalcule la réponse correcte à partir de données figées et n'accorde une récompense que si toutes les vérifications réussissent. Cette approche garantit que les évaluations sont cohérentes et reproductibles.

L'observabilité en production repose sur les métriques Amazon CloudWatch dans l'espace de noms AWS/Bedrock. Les ingénieurs surveillent la latence en utilisant InvocationLatency et TimeToFirstToken, qui mesure le délai avant le début de la génération. Ils suivent également la limitation de débit (throttling) via InvocationThrottles et la consommation de quota en utilisant EstimatedTPMQuotaUsage. Cette dernière métrique inclut les tokens d'écriture de cache et les multiplicateurs de réduction des tokens de sortie, permettant aux équipes de définir des alarmes proactives avant d'atteindre les limites de débit. La surveillance des coûts implique le suivi de InputTokenCount, CacheReadInputTokenCount, CacheWriteInputTokenCount et OutputTokenCount. En comparant ces signaux de production avec les scores d'évaluation, l'équipe peut déterminer quand changer les valeurs par défaut des modèles ou ajuster les plafonds d'effort.

Détails clés

  • Définition du coût par tâche : Le coût total au prix catalogue de tous les tokens qu'un agent utilise pour compléter une tâche, y compris l'entrée non mise en cache, les lectures de cache, les écritures de cache et la sortie.
  • Vitesse d'évaluation : Les nouveaux modèles peuvent être évalués sur toutes les suites de tâches en quelques heures, avec des résultats complets disponibles dès le lendemain matin, permettant des décisions de déploiement rapides.
  • Impact de l'effort de raisonnement : Augmenter l'effort de raisonnement peut améliorer les scores mais augmente considérablement les coûts ; pour un modèle, passer d'un effort faible à un effort élevé a augmenté le coût par tâche de 2,5 fois.
  • Métriques de production : Les principales métriques CloudWatch incluent TimeToFirstToken, OutputTokenCount et les tokens de sortie par seconde (OTPS) dérivés, calculés comme OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000.
  • Structure des tâches : Les tâches d'évaluation incluent des instructions, des définitions d'environnement, des correcteurs et des solutions de référence, garantissant une notation cohérente entre différents modèles et niveaux d'effort.
  • Gestion des quotas : EstimatedTPMQuotaUsage aide à suivre la consommation de tokens sur toutes les API d'inférence, permettant aux équipes de demander des augmentations de quota avant que la limitation de débit ne survienne.

Pourquoi c'est important

Pour les équipes développant des logiciels avec l'IA, se fier uniquement aux benchmarks publics peut entraîner des coûts inattendus et des problèmes de performance. Les graphiques publics ne tiennent pas compte des caractéristiques spécifiques des flux de travail, telles que la longueur du contexte, le comportement de mise en cache ou la complexité des bases de code internes. En adoptant une métrique de coût par tâche, les organisations peuvent prendre des décisions plus éclairées sur les modèles à utiliser pour des types de travaux spécifiques. Cette approche déplace l'accent des prix bruts des tokens vers l'efficacité économique réelle de la complétion des tâches d'ingénierie. Elle souligne également l'importance des stratégies de mise en cache, car les taux d'échec de cache peuvent affecter considérablement la dépense globale.

De plus, l'intégration de l'évaluation et de l'observabilité crée un cadre opérationnel robuste. Comme les nouveaux modèles sont fréquemment publiés, disposer d'un processus standardisé pour tester et surveiller permet aux équipes d'adopter rapidement les améliorations tout en atténuant les risques. Définir des plafonds d'effort basés sur les données d'évaluation empêche les coûts excessifs dus à des processus de raisonnement trop verbeux ou inefficaces. Cette discipline garantit que les outils d'IA restent des actifs durables et précieux pour les équipes d'ingénierie, plutôt que de devenir des dépenses non gérées. La capacité de dériver des métriques comme OTPS à partir de données CloudWatch de base permet également aux équipes de diagnostiquer les problèmes de latence sans attendre le support du fournisseur.

Ce que vous pouvez faire

  • Définissez un ensemble de tâches d'ingénierie représentatives avec des instructions claires, des configurations d'environnement et des correcteurs automatisés pour établir une base de référence pour l'évaluation des modèles.
  • Implémentez une passerelle ou un proxy devant votre fournisseur de LLM pour enregistrer les données de modèle, de client, d'équipe et d'utilisateur pour chaque requête, permettant une planification agrégée des coûts et de la capacité.
  • Activez la journalisation des invocations de modèles dans toutes les régions AWS pertinentes et restreignez l'accès aux journaux pour protéger les données sensibles des prompts et des réponses.
  • Utilisez les métriques CloudWatch pour surveiller TimeToFirstToken et OutputTokenCount, et dérivez les tokens de sortie par seconde pour diagnostiquer les problèmes de latence en production.
  • Calculez le coût par tâche en additionnant les coûts de tous les types de tokens (entrée non mise en cache, lectures de cache, écritures de cache, sortie) pour chaque tâche d'agent complétée.
  • Définissez des alarmes proactives en utilisant EstimatedTPMQuotaUsage pour suivre la consommation de tokens et demander des augmentations de quota avant d'atteindre les limites de débit.
  • #amazon bedrock
  • #ai agents
  • #cost optimization
  • #llm ops
  • #airbnb

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles