Meta nutzt ungenutzte KI-Kapazitäten zur Verbesserung der Anzeigenempfehlungen

Meta hat ein neues System eingeführt, das lokal ungenutzte KI-Inferenzkapazitäten in verbesserte Werbungsempfehlungen umwandelt. In einem am 12. Oktober 2026 veröffentlichten Bericht erläutert das Engineering-Team, wie sie fragmentierte Ressourcen über ihre globale Flotte hinweg aggregieren, um die Relevanz von Anzeigen zu steigern, ohne zusätzliche Hardware zu kaufen.

Was passiert ist

Inferenz-Flotten großer Technologieunternehmen stehen oft vor dem Paradoxon, dass sie global durch Spitzenlasten begrenzt sind, aber erhebliche Mengen lokal ungenutzter Kapazität aufweisen. Diese Diskrepanz entsteht durch Schwankungen im Traffic-Muster, zeitliche Unterschiede zwischen Modellentwicklung und Hardware-Lieferung sowie regionale Ungleichgewichte bei den Ressourcenverhältnissen wie CPUs und Beschleunigern. Meta erkannte, dass diese brachliegenden Ressourcen gebündelt werden könnten, um erhebliche Rechenleistung bereitzustellen, wenn sie korrekt verwaltet werden.

Um dies anzugehen, baute Meta ein System, das diese volatile, unterbrechbare Kapazität als gemeinsamen opportunistischen Pool behandelt. Das System ermöglicht optionalen Werbe-Workloads, in diesen Bereich zu expandieren, wenn Kapazität verfügbar ist, und sich sofort zurückzuziehen, wenn die Kapazität für Basistasks wieder beansprucht wird. Dieser Ansatz stellt sicher, dass die Kerninfrastruktur stabil bleibt, während zusätzlicher Wert aus Hardware extrahiert wird, die sonst ungenutzt bleiben würde.

Die Implementierung stützt sich auf zwei spezifische Mechanismen, um diese Überschusskapazität sicher zu nutzen. Durch die Isolierung optionaler Arbeit vom kritischen Basis-Traffic verhindert das System Latenzspitzen oder Zuverlässigkeitsprobleme bei plötzlichen Kapazitätsunterbrechungen. Dieses Design ermöglicht es Meta, die Ergebnisse für Werbetreibende und die Nutzererfahrung durch besseres Anzeigen-Matching zu verbessern, ohne den gesamten Infrastrukturbedarf zu erhöhen.

Wie es funktioniert

Das System nutzt zwei komplementäre Elastizitätshebel, um ungenutzte Ressourcen zu verwenden: Rank More Ads (RMA) und Serve Better Models (SBM). RMA erhöht die Anzahl der Kandidatenanzeigen, die in den Ranking-Stufen bewertet werden, wenn überschüssige CPU- und Beschleunigerkapazität erkannt wird. Dieser Prozess erfordert beide Prozessortypen, da er Upstream-Feature-Verarbeitung und Downstream-Inferenz umfasst. Durch die Bewertung eines größeren Kandidatenpools erhöht das System die Wahrscheinlichkeit, hochrelevante Anzeigen für jede Nutzeranfrage auszuwählen.

SBM konzentriert sich speziell auf Beschleunigerüberschüsse, indem es einen höheren Anteil der Anfragen an leistungsfähigere, komplexere Machine-Learning-Modelle routet. Im Gegensatz zu RMA hält SBM die Anzahl der Kandidaten konstant, was die Upstream-CPU-Nachfrage stabilisiert. Eine Model-Router-Komponente nutzt Wertsignale, um Anfragen zu priorisieren, die wahrscheinlich am meisten vom erweiterten Modell profitieren. Dies ermöglicht es dem System, nur Beschleuniger-Kapazität zu konsumieren, die RMA nicht nutzen kann, sodass ein breiteres Spektrum an ungenutzten Ressourcen eingesetzt wird.

Die Sicherheit wird durch strenge physische und logische Isolation gewährleistet. SBM verwendet separate Routing-Ziele für Basis- und leistungsstarke Modelle, sodass Anfragen einfach auf das Basismodell zurückfallen, wenn opportunistische Kapazität verschwindet. RMA nutzt logische Isolation, indem es ein globales Budget für zusätzliche Arbeit basierend auf verfügbaren Replikaten berechnet. Feedback-Schleifen überwachen Tail-Latenz und Anfragewert und passen die Workload innerhalb von Minuten an, während Millisekunden-Level-Load-Shedding vor plötzlichen Unterbrechungen schützt, indem niedriger bewertete optionale Arbeit sofort verworfen wird.

Wichtige Details

• Das System adressiert das Inferenz-Kapazitätsparadoxon, bei dem Flotten global begrenzt, aber lokal ungenutzt sind aufgrund von Peak-Provisioning und Ressourcen-Mismatches.
• Rank More Ads (RMA) erweitert den Kandidatensatz für das Ranking und erfordert sowohl CPU- als auch Beschleuniger-Überschüsse, um effektiv zu funktionieren.
• Serve Better Models (SBM) leitet mehr Traffic an komplexe Modelle weiter, wobei nur Beschleuniger-Überschüsse genutzt werden, um die Upstream-CPU-Last stabil zu halten.
• Physische Isolation schützt den SBM-Basis-Traffic, während logische Isolation über globale Budgets die RMA-Basisleistung schützt.
• Mehrstufiges Load-Shedding reagiert innerhalb von Millisekunden auf Kapazitätsunterbrechungen und wirft niedrig bewertete optionale Arbeit ab, bevor zentrale Controller Anpassungen vornehmen.
• Zukünftige Pläne umfassen die Erweiterung der Modellportabilität und die Automatisierung der wertbasierten Kapazitätsallokation über Regionen und Hardware-Typen hinweg.

Warum es wichtig ist

Für Engineering-Teams, die große ML-Infrastrukturen verwalten, bietet diese Architektur einen Bauplan zur Effizienzsteigerung ohne Kapitalausgaben. Sie demonstriert, wie man optionale Qualitätsverbesserungen von kritischen Service Level Objectives entkoppelt. Indem ungenutzte Kapazität als volatiles, aber wertvolles Ressource betrachtet wird, können Organisationen die Produktqualität, wie z. B. die Anzeigenrelevanz, verbessern, während sie strenge Latenzgarantien für Kernnutzerinteraktionen beibehalten.

Die Trennung der Zuständigkeiten zwischen Basis- und opportunistischen Workloads ist besonders lehrreich für Systeme mit heterogener Hardware. Da KI-Modelle immer komplexer werden, wird die Fähigkeit, Anfragen dynamisch an verschiedene Modellstufen basierend auf Echtzeit-Ressourcenverfügbarkeit zu routen, entscheidend. Dieser Ansatz minimiert Verschwendung durch Hardware-Mismatches und stellt sicher, dass teure Beschleuniger auch dann genutzt werden, wenn die primäre Nachfrage schwankt.

Darüber hinaus bietet der Einsatz von wertbewusstem Load-Shedding ein robustes Sicherheitsnetz für verteilte Systeme. Es ermöglicht Ingenieuren, aggressive Optimierungsstrategien zu entwerfen, die unter Druck elegant degradieren. Dieses Muster ist über Werbung hinaus anwendbar und erstreckt sich auf jeden Dienst, bei dem inkrementeller Rechenaufwand abnehmende, aber positive Renditen bringt, wie etwa Such-Ranking oder Content-Empfehlungsmaschinen.

Was Sie tun können

• Prüfen Sie Ihre Inferenz-Flotte auf lokal ungenutzte Kapazität, die durch regionale Ressourcenverhältnisse oder Lücken beim Peak-Provisioning verursacht wird.
• Identifizieren Sie Workloads mit hoher Elastizität, die schnell skalieren können, ohne die Zuverlässigkeit des Kernservices zu beeinträchtigen.
• Implementieren Sie logische oder physische Isolation zwischen Basis-Traffic und optionalen Berechnungsaufgaben, um Contention zu verhindern.
• Stellen Sie Feedback-Schleifen bereit, die Latenz und Ressourcennutzung überwachen, um das Volumen opportunistischer Arbeit dynamisch anzupassen.
• Fügen Sie Millisekunden-Level-Load-Shedding auf Server- und Client-Ebene hinzu, um plötzliche Kapazitätsunterbrechungen elegant zu handhaben.
• Nutzen Sie Wertsignale, um zu priorisieren, welche optionalen Aufgaben zusätzliche Ressourcen erhalten, um die höchste Wirkung pro Recheneinheit sicherzustellen.