Meta utilise la capacité d'IA inutilisée pour améliorer les recommandations publicitaires

Meta a déployé un nouveau système qui convertit la capacité d'inférence IA localement inactive en améliorations des recommandations publicitaires. Publiée le 12 octobre 2026, l'équipe d'ingénierie détaille comment elle agrège les ressources fragmentées à travers sa flotte mondiale pour renforcer la pertinence des annonces sans acheter de matériel supplémentaire.

Ce qui s'est passé

Les flottes d'inférence des grandes entreprises technologiques font souvent face à un paradoxe où elles sont globalement contraintes par la demande de pointe tout en conservant d'importantes poches de capacité inactive au niveau local. Cette inadéquation résulte des variations des schémas de trafic, des décalages temporels entre le développement des modèles et la livraison du matériel, ainsi que des déséquilibres régionaux dans les ratios de ressources comme les CPU et les accélérateurs. Meta a identifié que ces ressources immobilisées pouvaient être mutualisées pour fournir une puissance de calcul substantielle si elles étaient correctement gérées.

Pour répondre à ce défi, Meta a construit un système qui traite cette capacité volatile et préemptible comme un pool opportuniste partagé. Le système permet aux charges de travail publicitaires optionnelles de s'étendre dans cet espace lorsqu'il est disponible et de se contracter instantanément lorsque la capacité est récupérée pour les tâches de base. Cette approche garantit que l'infrastructure centrale reste stable tout en extrayant une valeur supplémentaire de matériel qui resterait autrement inutilisé.

La mise en œuvre repose sur deux mécanismes spécifiques pour consommer cette capacité excédentaire en toute sécurité. En isolant le travail optionnel du trafic critique de base, le système empêche les pics de latence ou les problèmes de fiabilité lors de préemptions soudaines de capacité. Cette conception permet à Meta d'améliorer les résultats pour les annonceurs et l'expérience utilisateur grâce à un meilleur ciblage publicitaire, sans augmenter leur empreinte infrastructurelle globale.

Comment cela fonctionne

Le système emploie deux leviers d'élasticité complémentaires pour utiliser les ressources inactives : Rank More Ads (RMA) et Serve Better Models (SBM). RMA augmente le nombre d'annonces candidates évaluées lors des étapes de classement lorsque une capacité excédentaire en CPU et en accélérateur est détectée. Ce processus nécessite les deux types de processeurs car il implique un traitement amont des fonctionnalités et une inférence aval. En évaluant un plus grand pool de candidats, le système augmente la probabilité de sélectionner des annonces hautement pertinentes pour chaque requête utilisateur.

SBM se concentre spécifiquement sur le surplus d'accélérateurs en dirigeant une part plus élevée des requêtes vers des modèles d'apprentissage automatique plus puissants et complexes. Contrairement à RMA, SBM maintient le nombre de candidats constant, ce qui stabilise la demande CPU amont. Un composant routeur de modèle utilise des signaux de valeur pour prioriser les requêtes susceptibles de bénéficier le plus du modèle amélioré. Cela permet au système de consommer la capacité réservée aux accélérateurs que RMA ne peut pas utiliser, garantissant qu'une gamme plus large de ressources inactives soit mise à contribution.

La sécurité est maintenue grâce à une isolation physique et logique stricte. SBM utilise des cibles de routage séparées pour les modèles de base et les modèles puissants, assurant que si la capacité opportuniste disparaît, les requêtes reviennent simplement au modèle de base. RMA utilise une isolation logique en calculant un budget global pour le travail supplémentaire basé sur les répliques disponibles. Les boucles de rétroaction surveillent la latence de queue et la valeur des requêtes, ajustant la charge de travail en quelques minutes, tandis que l'allègement de charge au niveau milliseconde protège contre les préemptions soudaines en éliminant immédiatement le travail optionnel de moindre valeur.

Détails clés

• Le système aborde le paradoxe de la capacité d'inférence où les flottes sont globalement contraintes mais localement inactives en raison du provisionnement de pointe et des inadéquations de ressources.
• Rank More Ads (RMA) étend l'ensemble de candidats pour le classement, nécessitant un surplus à la fois en CPU et en accélérateur pour fonctionner efficacement.
• Serve Better Models (SBM) dirige plus de trafic vers des modèles complexes en utilisant uniquement le surplus d'accélérateur, maintenant la charge CPU amont stable.
• L'isolation physique protège le trafic de base de SBM, tandis que l'isolation logique via des budgets globaux protège les performances de base de RMA.
• L'allègement de charge multi-niveaux réagit en quelques millisecondes à la préemption de capacité, éliminant le travail optionnel de faible valeur avant que les contrôleurs centraux n'ajustent.
• Les plans futurs incluent l'extension de la portabilité des modèles et l'automatisation de l'allocation de capacité basée sur la valeur à travers les régions et les types de matériel.

Pourquoi c'est important

Pour les équipes d'ingénierie gérant des infrastructures ML à grande échelle, cette architecture offre un modèle pour améliorer l'efficacité sans dépenses d'investissement. Elle démontre comment dissocier les améliorations de qualité optionnelles des objectifs critiques de niveau de service. En traitant la capacité inactive comme une ressource volatile mais précieuse, les organisations peuvent améliorer la qualité du produit, telle que la pertinence des annonces, tout en maintenant des garanties strictes de latence pour les interactions utilisateurs principales.

La séparation des préoccupations entre les charges de travail de base et opportunistes est particulièrement instructive pour les systèmes gérant du matériel hétérogène. À mesure que les modèles d'IA deviennent plus complexes, la capacité de router dynamiquement les requêtes vers différents niveaux de modèles en fonction de la disponibilité des ressources en temps réel devient cruciale. Cette approche minimise le gaspillage dû aux inadéquations matérielles et garantit que les accélérateurs coûteux sont utilisés même lorsque la demande principale fluctue.

De plus, l'utilisation de l'allègement de charge conscient de la valeur fournit un filet de sécurité robuste pour les systèmes distribués. Elle permet aux ingénieurs de concevoir des stratégies d'optimisation agressives qui peuvent se dégrader gracieusement sous pression. Ce modèle est applicable au-delà de la publicité, s'étendant à tout service où un effort computationnel incrémental produit des rendements décroissants mais positifs, tels que le classement de recherche ou les moteurs de recommandation de contenu.

Ce que vous pouvez faire

• Auditez votre flotte d'inférence pour identifier la capacité inactive locale causée par les ratios de ressources régionaux ou les écarts de provisionnement de pointe.
• Identifiez les charges de travail à haute élasticité qui peuvent monter ou descendre rapidement sans affecter la fiabilité du service principal.
• Mettez en œuvre une isolation logique ou physique entre le trafic de base et les tâches computationnelles optionnelles pour prévenir la contention.
• Déployez des boucles de rétroaction qui surveillent la latence et l'utilisation des ressources pour ajuster dynamiquement le volume de travail opportuniste.
• Ajoutez un allègement de charge au niveau milliseconde aux niveaux serveur et client pour gérer gracieusement les préemptions soudaines de capacité.
• Utilisez des signaux de valeur pour prioriser quelles tâches optionnelles reçoivent des ressources supplémentaires, assurant le plus fort impact par unité de calcul.