Meta utiliza capacidad de IA ociosa para mejorar las recomendaciones publicitarias

Meta ha implementado un nuevo sistema que convierte la capacidad local ociosa de inferencia de IA en mejoras para las recomendaciones publicitarias. Publicado el 12 de octubre de 2026, el equipo de ingeniería detalla cómo agregan recursos fragmentados a través de su flota global para mejorar la relevancia de los anuncios sin comprar hardware adicional.

Qué ocurrió

Las flotas de inferencia en grandes empresas tecnológicas suelen enfrentar una paradoja: están limitadas globalmente por la demanda máxima, pero poseen importantes bolsillos de capacidad local ociosa. Esta discrepancia se debe a variaciones en los patrones de tráfico, diferencias temporales entre el desarrollo de modelos y la entrega de hardware, y desequilibrios regionales en ratios de recursos como CPUs y aceleradores. Meta identificó que estos recursos varados podrían agruparse para proporcionar una potencia computacional sustancial si se gestionaban correctamente.

Para abordar esto, Meta construyó un sistema que trata esta capacidad volátil y preemptible como un grupo compartido oportunista. El sistema permite que cargas de trabajo publicitarias opcionales se expandan en este espacio cuando está disponible y se contraigan instantáneamente cuando la capacidad es reclamada para tareas base. Este enfoque garantiza que la infraestructura central permanezca estable mientras extrae valor adicional de hardware que de otro modo quedaría sin usar.

La implementación depende de dos mecanismos específicos para consumir esta capacidad excedente de forma segura. Al aislar el trabajo opcional del tráfico crítico base, el sistema evita picos de latencia o problemas de fiabilidad durante preemptions súbitas de capacidad. Este diseño permite a Meta mejorar los resultados para los anunciantes y la experiencia del usuario mediante una mejor coincidencia de anuncios sin aumentar su huella general de infraestructura.

Cómo funciona

El sistema emplea dos palancas de elasticidad complementarias para utilizar los recursos ociosos: Rank More Ads (RMA) y Serve Better Models (SBM). RMA aumenta el número de anuncios candidatos evaluados durante las etapas de clasificación cuando se detecta capacidad excedente de CPU y acelerador. Este proceso requiere ambos tipos de procesadores porque implica procesamiento de características aguas arriba e inferencia aguas abajo. Al evaluar un conjunto más grande de candidatos, el sistema incrementa la probabilidad de seleccionar anuncios altamente relevantes para cada solicitud de usuario.

SBM se centra específicamente en el excedente de aceleradores al dirigir una mayor proporción de solicitudes a modelos de aprendizaje automático más potentes y complejos. A diferencia de RMA, SBM mantiene constante el número de candidatos, lo que estabiliza la demanda de CPU aguas arriba. Un componente de enrutamiento de modelos utiliza señales de valor para priorizar las solicitudes que probablemente se beneficien más del modelo mejorado. Esto permite al sistema consumir capacidad exclusiva de aceleradores que RMA no puede utilizar, asegurando que una gama más amplia de recursos ociosos se pongan a trabajar.

La seguridad se mantiene mediante un aislamiento físico y lógico estricto. SBM utiliza objetivos de enrutamiento separados para modelos base y potentes, garantizando que si la capacidad oportunista desaparece, las solicitudes simplemente retrocedan al modelo base. RMA utiliza aislamiento lógico calculando un presupuesto global para trabajo adicional basado en réplicas disponibles. Los bucles de retroalimentación monitorean la latencia de cola y el valor de la solicitud, ajustando la carga de trabajo en minutos, mientras que el descarte de carga a nivel de milisegundos protege contra preemptions súbitas eliminando inmediatamente el trabajo opcional de menor valor.

Detalles clave

• El sistema aborda la paradoja de la capacidad de inferencia donde las flotas están restringidas globalmente pero ociosas localmente debido al aprovisionamiento por picos y desajustes de recursos.
• Rank More Ads (RMA) expande el conjunto de candidatos para la clasificación, requiriendo tanto excedente de CPU como de acelerador para funcionar eficazmente.
• Serve Better Models (SBM) dirige más tráfico a modelos complejos utilizando solo el excedente de acelerador, manteniendo estable la carga de CPU aguas arriba.
• El aislamiento físico protege el tráfico base de SBM, mientras que el aislamiento lógico mediante presupuestos globales protege el rendimiento base de RMA.
• El descarte de carga multinivel reacciona dentro de milisegundos ante la preemption de capacidad, eliminando trabajo opcional de bajo valor antes de que los controladores centrales ajusten.
• Los planes futuros incluyen ampliar la portabilidad de los modelos y automatizar la asignación de capacidad basada en valor a través de regiones y tipos de hardware.

Por qué importa

Para los equipos de ingeniería que gestionan infraestructuras de ML a gran escala, esta arquitectura ofrece una guía para mejorar la eficiencia sin gasto de capital. Demuestra cómo desacoplar las mejoras de calidad opcionales de los objetivos críticos de nivel de servicio. Al tratar la capacidad ociosa como un recurso volátil pero valioso, las organizaciones pueden mejorar la calidad del producto, como la relevancia de los anuncios, manteniendo garantías estrictas de latencia para las interacciones principales de los usuarios.

La separación de responsabilidades entre cargas de trabajo base y oportunistas es particularmente instructiva para sistemas que manejan hardware heterogéneo. A medida que los modelos de IA se vuelven más complejos, la capacidad de enrutar dinámicamente las solicitudes a diferentes niveles de modelos basándose en la disponibilidad de recursos en tiempo real se vuelve crucial. Este enfoque minimiza el desperdicio derivado de desajustes de hardware y asegura que los costosos aceleradores se utilicen incluso cuando la demanda principal fluctúa.

Además, el uso del descarte de carga consciente del valor proporciona una red de seguridad robusta para sistemas distribuidos. Permite a los ingenieros diseñar estrategias agresivas de optimización que puedan degradarse con elegancia bajo presión. Este patrón es aplicable más allá de la publicidad, extendiéndose a cualquier servicio donde el esfuerzo computacional incremental produzca rendimientos decrecientes pero positivos, como la clasificación de búsqueda o los motores de recomendación de contenido.

Qué puedes hacer

• Audita tu flota de inferencia para detectar capacidad ociosa local causada por ratios de recursos regionales o brechas de aprovisionamiento por picos.
• Identifica cargas de trabajo con alta elasticidad que puedan escalar hacia arriba o abajo rápidamente sin afectar la fiabilidad del servicio principal.
• Implementa aislamiento lógico o físico entre el tráfico base y las tareas computacionales opcionales para evitar la contención.
• Despliega bucles de retroalimentación que monitoreen la latencia y el uso de recursos para ajustar dinámicamente el volumen de trabajo oportunista.
• Añade descarte de carga a nivel de milisegundos en los servidores y clientes para manejar preemptions súbitas de capacidad con elegancia.
• Utiliza señales de valor para priorizar qué tareas opcionales reciben recursos adicionales, asegurando el mayor impacto por unidad de cómputo.