Meta tận dụng năng lực AI nhàn rỗi để cải thiện gợi ý quảng cáo

Meta đã triển khai một hệ thống mới chuyển đổi năng lực suy luận AI nhàn rỗi tại chỗ thành các đề xuất quảng cáo được cải thiện. Được công bố vào ngày 12 tháng 10 năm 2026, đội ngũ kỹ thuật chi tiết cách họ tổng hợp các tài nguyên bị phân mảnh trên toàn bộ cụm máy chủ toàn cầu để nâng cao mức độ liên quan của quảng cáo mà không cần mua thêm phần cứng.

Chuyện gì đã xảy ra

Các cụm suy luận tại những công ty công nghệ lớn thường đối mặt với một nghịch lý: chúng bị hạn chế bởi nhu cầu đỉnh điểm trên quy mô toàn cầu nhưng lại có những khoảng trống năng lực nhàn rỗi đáng kể ở cấp độ cục bộ. Sự chênh lệch này xảy ra do biến động trong mô hình lưu lượng truy cập, sự khác biệt về thời gian giữa phát triển mô hình và cung ứng phần cứng, cũng như mất cân bằng khu vực trong tỷ lệ tài nguyên như CPU và bộ tăng tốc (accelerator). Meta nhận thấy rằng các tài nguyên bị "mắc kẹt" này có thể được gộp chung để cung cấp sức mạnh tính toán đáng kể nếu được quản lý đúng cách.

Để giải quyết vấn đề này, Meta đã xây dựng một hệ thống coi năng lực dễ biến động và có thể bị thu hồi trước (preemptible) này như một hồ chứa dùng chung mang tính cơ hội. Hệ thống cho phép các khối lượng công việc quảng cáo tùy chọn mở rộng vào không gian này khi có sẵn và co lại ngay lập tức khi năng lực được thu hồi cho các tác vụ cơ bản. Cách tiếp cận này đảm bảo hạ tầng cốt lõi vẫn ổn định trong khi khai thác giá trị bổ sung từ phần cứng vốn sẽ nằm không.

Việc triển khai dựa vào hai cơ chế cụ thể để tiêu thụ an toàn năng lực dư thừa này. Bằng cách cô lập các công việc tùy chọn khỏi lưu lượng truy cập cơ bản quan trọng, hệ thống ngăn ngừa tình trạng tăng đột biến độ trễ hoặc các vấn đề về độ tin cậy khi có sự thu hồi năng lực đột ngột. Thiết kế này giúp Meta cải thiện kết quả cho nhà quảng cáo và trải nghiệm người dùng thông qua việc khớp quảng cáo tốt hơn mà không làm tăng dấu chân hạ tầng tổng thể.

Cách thức hoạt động

Hệ thống sử dụng hai đòn bẩy đàn hồi bổ trợ để tận dụng các tài nguyên nhàn rỗi: Xếp hạng Nhiều Quảng Cáo Hơn (RMA - Rank More Ads) và Phục Vụ Các Mô Hình Tốt Hơn (SBM - Serve Better Models). RMA tăng số lượng quảng cáo ứng viên được đánh giá trong các giai đoạn xếp hạng khi phát hiện thấy năng lực CPU và bộ tăng tốc dư thừa. Quy trình này yêu cầu cả hai loại bộ xử lý vì nó bao gồm xử lý đặc trưng (feature processing) ở thượng nguồn và suy luận ở hạ nguồn. Bằng cách đánh giá một tập hợp ứng viên lớn hơn, hệ thống tăng xác suất chọn ra những quảng cáo có mức độ liên quan cao nhất cho mỗi yêu cầu của người dùng.

SBM tập trung cụ thể vào năng lực dư thừa của bộ tăng tốc bằng cách định tuyến một tỷ lệ yêu cầu cao hơn tới các mô hình học máy phức tạp và mạnh mẽ hơn. Khác với RMA, SBM giữ nguyên số lượng ứng viên, giúp ổn định nhu cầu CPU ở thượng nguồn. Một thành phần định tuyến mô hình (model-router) sử dụng các tín hiệu giá trị để ưu tiên các yêu cầu có khả năng hưởng lợi nhiều nhất từ mô hình nâng cao. Điều này cho phép hệ thống tiêu thụ năng lực chỉ dành cho bộ tăng tốc mà RMA không thể sử dụng, đảm bảo phạm vi tài nguyên nhàn rỗi rộng hơn được đưa vào hoạt động.

An toàn được duy trì thông qua sự cô lập vật lý và logic nghiêm ngặt. SBM sử dụng các đích định tuyến riêng biệt cho mô hình cơ bản và mô hình mạnh mẽ, đảm bảo rằng nếu năng lực cơ hội biến mất, các yêu cầu đơn giản sẽ quay trở lại mô hình cơ bản. RMA sử dụng sự cô lập logic bằng cách tính toán ngân sách toàn cầu cho công việc bổ sung dựa trên số lượng bản sao (replica) khả dụng. Các vòng phản hồi giám sát độ trễ đuôi (tail latency) và giá trị yêu cầu, điều chỉnh khối lượng công việc trong vài phút, trong khi việc cắt bỏ tải (load shedding) ở mức mili-giây bảo vệ chống lại sự thu hồi năng lực đột ngột bằng cách loại bỏ ngay lập tức các công việc tùy chọn có giá trị thấp.

Chi tiết chính

• Hệ thống giải quyết nghịch lý năng lực suy luận, nơi các cụm máy chủ bị hạn chế trên quy mô toàn cầu nhưng lại nhàn rỗi ở cấp độ cục bộ do việc cung ứng theo nhu cầu đỉnh điểm và sự không khớp tài nguyên.
• Xếp hạng Nhiều Quảng Cáo Hơn (RMA) mở rộng tập hợp ứng viên cho việc xếp hạng, đòi hỏi cả năng lực CPU và bộ tăng tốc dư thừa để hoạt động hiệu quả.
• Phục Vụ Các Mô Hình Tốt Hơn (SBM) định tuyến nhiều lưu lượng hơn tới các mô hình phức tạp chỉ bằng cách sử dụng năng lực dư thừa của bộ tăng tốc, giữ cho tải CPU ở thượng nguồn ổn định.
• Sự cô lập vật lý bảo vệ lưu lượng cơ bản của SBM, trong khi sự cô lập logic thông qua ngân sách toàn cầu bảo vệ hiệu suất cơ bản của RMA.
• Việc cắt bỏ tải đa lớp phản ứng trong vòng mili-giây khi có sự thu hồi năng lực, loại bỏ các công việc tùy chọn giá trị thấp trước khi các bộ điều khiển trung tâm thực hiện điều chỉnh.
• Kế hoạch tương lai bao gồm việc mở rộng khả năng di chuyển của mô hình và tự động hóa việc phân bổ năng lực dựa trên giá trị trên khắp các khu vực và loại phần cứng.

Tại sao điều này quan trọng

Đối với các nhóm kỹ thuật quản lý hạ tầng ML quy mô lớn, kiến trúc này cung cấp một khuôn mẫu để cải thiện hiệu quả mà không cần chi phí vốn. Nó minh họa cách tách rời các cải tiến chất lượng tùy chọn khỏi các mục tiêu dịch vụ cốt lõi. Bằng cách coi năng lực nhàn rỗi là một tài nguyên dễ biến động nhưng có giá trị, các tổ chức có thể nâng cao chất lượng sản phẩm, chẳng hạn như mức độ liên quan của quảng cáo, đồng thời duy trì các cam kết nghiêm ngặt về độ trễ cho các tương tác cốt lõi của người dùng.

Sự phân tách trách nhiệm giữa các khối lượng công việc cơ bản và cơ hội đặc biệt hữu ích cho các hệ thống xử lý phần cứng không đồng nhất. Khi các mô hình AI trở nên phức tạp hơn, khả năng định tuyến động các yêu cầu tới các cấp độ mô hình khác nhau dựa trên tính khả dụng của tài nguyên theo thời gian thực trở nên cực kỳ quan trọng. Cách tiếp cận này giảm thiểu lãng phí do sự không khớp phần cứng và đảm bảo các bộ tăng tốc đắt tiền được sử dụng ngay cả khi nhu cầu chính biến động.

Hơn nữa, việc sử dụng cơ chế cắt bỏ tải nhận biết giá trị cung cấp một lưới an toàn vững chắc cho các hệ thống phân tán. Nó cho phép các kỹ sư thiết kế các chiến lược tối ưu hóa mạnh mẽ có thể suy giảm một cách êm ái dưới áp lực. Mẫu hình này có thể áp dụng ngoài lĩnh vực quảng cáo, mở rộng sang bất kỳ dịch vụ nào mà nỗ lực tính toán gia tăng mang lại lợi ích giảm dần nhưng tích cực, chẳng hạn như xếp hạng tìm kiếm hoặc công cụ gợi ý nội dung.

Bạn có thể làm gì

• Kiểm tra cụm suy luận của bạn để tìm năng lực nhàn rỗi cục bộ gây ra bởi tỷ lệ tài nguyên khu vực hoặc khoảng trống trong việc cung ứng theo nhu cầu đỉnh điểm.
• Xác định các khối lượng công việc có tính đàn hồi cao, có thể mở rộng hoặc thu nhỏ nhanh chóng mà không ảnh hưởng đến độ tin cậy của dịch vụ cốt lõi.
• Triển khai sự cô lập logic hoặc vật lý giữa lưu lượng cơ bản và các tác vụ tính toán tùy chọn để ngăn chặn sự tranh chấp tài nguyên.
• Triển khai các vòng phản hồi giám sát độ trễ và mức sử dụng tài nguyên để điều chỉnh động khối lượng công việc cơ hội.
• Thêm cơ chế cắt bỏ tải ở mức mili-giây tại cấp máy chủ và máy khách để xử lý êm ái các trường hợp thu hồi năng lực đột ngột.
• Sử dụng các tín hiệu giá trị để ưu tiên những tác vụ tùy chọn nào nhận được tài nguyên bổ sung, đảm bảo tác động cao nhất trên mỗi đơn vị tính toán.