Xây dựng với AI

Exa giảm 47% chi phí nhúng (embedding) nhờ kernel tùy chỉnh trên AWS Neuron

Exa đã tối ưu hóa quy trình nhúng chỉ mục web của mình trên các chip AWS Inferentia2 và Trainium2, đạt được mức giảm chi phí 47% thông qua các kernel NKI tùy chỉnh và quy trình làm việc dựa trên tác nhân (agentic workflows).

Các bảng mạch phát sáng xếp chồng thành hình kim tự tháp với một bộ đếm kỹ thuật số phía trên.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Exa, một công ty xây dựng chỉ mục web ngữ nghĩa, gần đây đã chia sẻ chi tiết về cách họ cải thiện hiệu suất thông lượng (throughput) của cơ sở hạ tầng nhúng tài liệu lên gần 50%. Bằng cách tối ưu hóa các mô hình học máy để chạy trên phần cứng AWS Neuron, cụ thể là các chip Inferentia2 và Trainium2, đội ngũ kỹ sư đã giảm đáng kể chi phí đơn vị cho việc xử lý hàng tỷ tài liệu.

Nỗ lực tối ưu hóa này được thúc đẩy bởi một quy trình phát triển dựa trên tác nhân (agentic development workflow), tự động hóa việc kiểm thử, phân tích hồ sơ hiệu năng (profiling) và tạo kernel. Cách tiếp cận này cho phép các kỹ sư loại bỏ có hệ thống các điểm nghẽn về sử dụng bộ nhớ và hiệu quả tính toán, dẫn đến một quy trình suy luận (inference pipeline) linh hoạt và tiết kiệm chi phí hơn cho tìm kiếm ngữ nghĩa quy mô lớn.

Điều gì đã xảy ra

Exa duy trì một trong số ít các chỉ mục web thực sự, tổng hợp kiến thức từ các nguồn công khai, riêng tư và tổng hợp để phục vụ tìm kiếm ngữ nghĩa. Lõi của hệ thống này là một cơ sở dữ liệu vector nội bộ, yêu cầu mọi tài liệu web chất lượng cao phải được nhúng vào không gian vector trước khi có thể được cung cấp. Ở quy mô hàng chục hoặc hàng trăm tỷ tài liệu, chi phí cho mỗi lần nhúng là một yếu tố kinh tế then chốt. Bất kỳ cải thiện nào về hiệu quả đều tích lũy thành những khoản tiết kiệm đáng kể.

Động lực cho việc tối ưu hóa bắt đầu khi Exa quyết định chuyển đổi sang một mô hình tài liệu vượt trội hơn. Điều này đòi hỏi phải nhúng lại 30 tỷ tài liệu ưu tiên cao từ kho dữ liệu hiện có của họ. Hoạt động nạp dữ liệu bù (backfill) này tạm thời làm tăng gấp đôi tải nhúng, vì hệ thống vừa phải duy trì chỉ mục trực tiếp vừa đồng thời xây dựng chỉ mục mới. Sự gia tăng nhu cầu đột biến này đã tạo ra một tín hiệu rõ ràng để đánh giá lại các lựa chọn phần cứng và chiến lược tối ưu hóa của họ.

Đội ngũ đã chọn các chip AWS Inferentia2 và Trainium2 cho khối lượng công việc này. Các bộ tăng tốc này được thiết kế tương ứng cho suy luận và huấn luyện, nhưng chia sẻ cùng kiến trúc NeuronCore. Exa chạy khối lượng công việc của mình trên một NeuronCore duy nhất cho mỗi container, đóng gói các pod Kubernetes vào các instance lớn hơn để đảm bảo không có lõi nào bị nhàn rỗi. Chiến lược này cung cấp tính đồng nhất container trên toàn bộ cụm máy chủ và cho phép cùng một quy trình tối ưu hóa mở rộng thông qua song song hóa dữ liệu (data parallelism) trên cả hai loại phần cứng.

Cách thức hoạt động

Hành trình tối ưu hóa bắt đầu với một triển khai cơ bản sử dụng độ chính xác FP16 và song song hóa dữ liệu tiêu chuẩn. Từ đó, đội ngũ áp dụng một loạt các cải tiến có mục tiêu bằng cách sử dụng Neuron SDK. Đầu tiên, họ tối ưu hóa bố cục trọng số (weight layouts) để loại bỏ các phép chuyển vị dữ liệu không cần thiết, căn chỉnh trọng số mô hình với lịch trình phần cứng. Họ cũng kích hoạt autocast, cho phép trình biên dịch hạ thấp độ chính xác (downcast) các phép nhân ma trận xuống mức thấp hơn. Thay đổi này vẫn giữ được dải động (dynamic range) trong khi đáp ứng ngưỡng chính xác nghiêm ngặt là độ tương đồng cosine 0.999 so với mô hình tham chiếu.

Một điểm nghẽn đáng kể xuất hiện trong truy cập bộ nhớ. Các công cụ phân tích hồ sơ cho thấy thường xuyên xảy ra tràn (spills) và nạp lại từ bộ nhớ băng thông cao (HBM), làm chậm Tensor Engine. Để khắc phục, các kỹ sư đã viết một kernel MLP SwiGLU fusion tùy chỉnh, lưu trữ trọng số cố định (weight-stationary), sử dụng Giao diện Kernel Neuron (NKI). Kernel tùy chỉnh này loại bỏ các tình trạng tắc nghẽn HBM bằng cách giữ dữ liệu ở các vị trí bộ nhớ nhanh hơn trong quá trình tính toán. Đội ngũ sử dụng ngôn ngữ NKI cấp cao hơn cho hầu hết các thao tác, chỉ chuyển sang kiến trúc tập lệnh (instruction set architecture) cấp thấp hơn cho các tác vụ tensor cụ thể, giúp mã nguồn dễ bảo trì.

Hiệu suất cuối cùng được cải thiện nhờ việc giảm các phép toán dấu phẩy động (FLOPS). Đội ngũ nhận thấy thông lượng giảm khi cả hai lõi trên một chip đều hoạt động, cho thấy sự tranh chấp tài nguyên. Họ đã viết lại kernel attention để khớp chính xác với các hình dạng (shapes) của mô hình, loại bỏ lãng phí do padding (đệm) và gộp nhiều phép toán vào các phép nhân ma trận đơn lẻ. Việc tùy chỉnh này giảm bớt các phép toán trong vòng lặp nội tại và các vòng truyền tải HBM, mang lại tốc độ tăng thêm cuối cùng.

Chi tiết quan trọng

  • Exa đạt được mức cải thiện 47% về hiệu suất và chi phí cho mỗi triệu tài liệu được nhúng so với baseline ban đầu.
  • Việc tối ưu hóa nhắm vào phần cứng AWS Inferentia2 và Trainium2, chạy trên các NeuronCore đơn lẻ bên trong các pod Kubernetes.
  • Một kernel MLP SwiGLU fusion tùy chỉnh đã được viết bằng Giao diện Kernel Neuron (NKI) để loại bỏ các tình trạng tắc nghẽn bộ nhớ băng thông cao.
  • Đội ngũ áp dụng ngưỡng chính xác là độ tương đồng cosine 0.999 để đảm bảo độ chính xác vẫn cao bất chấp việc hạ thấp độ chính xác dữ liệu.
  • Một quy trình làm việc dựa trên tác nhân sử dụng Flyte đã tự động hóa việc biên dịch, kiểm tra tính đúng đắn và benchmarking cho từng bước tối ưu hóa.
  • Các kernel attention đã được viết lại để khớp với các hình dạng mô hình cụ thể, giảm FLOPS dành cho padding và xử lý chung.

Tại sao điều này quan trọng

Đối với các đội ngũ kỹ sư xây dựng ứng dụng AI quy mô lớn, nghiên cứu điển hình này nhấn mạnh tầm quan trọng của việc tối ưu hóa đặc thù phần cứng. Các kernel chung chung và cài đặt mặc định của trình biên dịch thường bỏ lỡ đáng kể hiệu suất tiềm năng. Bằng cách vượt ra ngoài các triển khai ngây thơ và viết các kernel tùy chỉnh cho các kiến trúc mô hình cụ thể, Exa đã mở khóa gần gấp đôi thông lượng. Mức độ tinh chỉnh này là thiết yếu khi vận hành ở quy mô hàng tỷ tài liệu, nơi mà những khoản tiết kiệm nhỏ trên mỗi đơn vị chuyển thành giảm chi phí vận hành khổng lồ.

Việc sử dụng quy trình làm việc dựa trên tác nhân cũng minh họa cho sự thay đổi trong cách các hệ thống phức tạp được tối ưu hóa. Thay vì thử và sai thủ công, Exa đã sử dụng các tác nhân tự chủ để xác minh tính đúng đắn, phân tích hiệu năng và tạo mã. Phương pháp này cho phép các đội ngũ lặp lại nhanh hơn và khám phá các giả thuyết tối ưu hóa có thể quá tẻ nhạt hoặc phức tạp để các kỹ sư con người kiểm tra thủ công. Nó đảm bảo rằng các tối ưu hóa được xác minh chặt chẽ theo các tiêu chuẩn độ chính xác trước khi triển khai.

Hơn nữa, việc tối ưu hóa cho các pool tính toán linh hoạt như phần cứng AWS Neuron cho phép các tổ chức tránh bị khóa nhà cung cấp (vendor lock-in) và thiếu hụt theo khu vực. Bằng cách làm cho khối lượng công việc của họ hiệu quả trên nhiều loại instance và khu vực, Exa có thể lập lịch tính toán dựa trên giá cả và khả năng sẵn có theo thời gian thực. Tính linh hoạt này rất quan trọng để duy trì mức độ dịch vụ và kiểm soát chi phí trong thị trường đám mây biến động.

Bạn có thể làm gì

  • Phân tích hồ sơ các khối lượng công việc suy luận của bạn để xác định các điểm nghẽn bộ nhớ, chẳng hạn như tràn HBM, trước khi cố gắng tối ưu hóa kernel.
  • Đánh giá Giao diện Kernel Neuron (NKI) để viết các kernel fusion tùy chỉnh nếu các thư viện tiêu chuẩn không đáp ứng nhu cầu hiệu suất của bạn.
  • Áp dụng các ngưỡng chính xác nghiêm ngặt, chẳng hạn như ngưỡng độ tương đồng cosine, để an toàn thử nghiệm với các kiểu dữ liệu độ chính xác thấp hơn.
  • Cân nhắc sử dụng các quy trình làm việc dựa trên tác nhân để tự động hóa việc kiểm thử và benchmarking các tối ưu hóa mô hình, giảm nỗ lực thủ công.
  • Căn chỉnh bố cục trọng số với lịch trình phần cứng để loại bỏ các phép chuyển vị dữ liệu không cần thiết trong quá trình thực thi mô hình.
  • Tùy chỉnh các kernel attention để khớp với các hình dạng mô hình cụ thể của bạn, loại bỏ lãng phí do padding và giảm FLOPS.
  • #aws neuron
  • #kernel optimization
  • #semantic search
  • #machine learning ops
  • #cost optimization

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết