Xây dựng với AI

Airbnb sử dụng chi phí trên mỗi tác vụ để quản lý các agent lập trình trên Amazon Bedrock

Airbnb đánh giá các mô hình agent lập trình bằng cách sử dụng chỉ số chi phí trên mỗi tác vụ và các tín hiệu từ CloudWatch để thiết lập mặc định và giám sát hiệu suất trong môi trường sản xuất trên Amazon Bedrock.

Một bảng điều khiển hiển thị các metric về chi phí và token bên trên các tệp mã nguồn.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Airbnb đã công bố chiến lược vận hành các agent lập trình nội bộ ở quy mô lớn, tập trung vào một chỉ số gọi là "chi phí trên mỗi tác vụ" (cost per task) để hướng dẫn việc lựa chọn mô hình. Đội ngũ kỹ thuật vận hành các agent này thông qua một công cụ nội bộ tên là AirChat, kết nối với Amazon Bedrock để suy luận các mô hình ngôn ngữ lớn (LLM). Bằng cách kết hợp đánh giá trước khi triển khai với giám sát thời gian thực trong môi trường sản xuất, công ty quản lý độ trễ, năng lực xử lý và chi tiêu khi các mô hình mới được ra mắt.

Điều gì đã xảy ra

Hàng nghìn kỹ sư và nhân viên làm việc gần gũi với lĩnh vực kỹ thuật tại Airbnb sử dụng AirChat hàng tuần để hỗ trợ các tác vụ phát triển phần mềm. Nền tảng nội bộ này cho phép người dùng chạy các agent lập trình trên máy phát triển đám mây cá nhân của họ, được gọi là không gian làm việc AirDev, hoặc thông qua AirChat Remote, nơi thực thi các tác vụ trong các môi trường đám mây riêng biệt. Tất cả các yêu cầu mô hình từ những agent này đều đi qua một cổng LLM trung tâm, định tuyến lưu lượng truy cập đến Amazon Bedrock. Cấu hình này đảm bảo rằng các prompt, mã nguồn và phản hồi từ mô hình vẫn nằm trong cơ sở hạ tầng AWS, tận dụng các khả năng kiểm soát truy cập và giám sát của nền tảng này.

Bối cảnh các mô hình nền tảng (foundation models) có sẵn thay đổi rất nhanh chóng. Trong một giai đoạn năm tuần gần đây, tám mô hình mới đã được ra mắt trên Amazon Bedrock. Tính đến giữa tháng Mười, khoảng hai phần ba số yêu cầu do các kỹ sư gửi qua các agent lập trình được chuyển hướng đến những mô hình mới ra mắt này. Mỗi lần phát hành mô hình mới đều tạo ra sự biến động về số lượng token đầu ra, chi phí, độ trễ và giới hạn năng lực xử lý. Các biểu đồ benchmark do nhà cung cấp mô hình cung cấp thường không phản ánh chính xác cách một mô hình hoạt động trên các quy trình làm việc kỹ thuật nội bộ cụ thể. Để giải quyết khoảng trống này, Airbnb vận hành các hệ thống song song: một hệ thống để đánh giá mô hình trước khi triển khai và một hệ thống khác để quan sát hành vi trong môi trường sản xuất.

Trước khi triển khai một mô hình mới làm mặc định, đội ngũ tiến hành các bài đánh giá trên một tập hợp cố định các tác vụ đại diện. Các bài đánh giá này đo lường cả điểm chất lượng và chi phí trên mỗi tác vụ cho từng mô hình và mức độ nỗ lực suy luận (reasoning effort level). Sau khi triển khai, các công cụ khả kiến (observability tools) theo dõi các mẫu sử dụng thực tế. Nếu dữ liệu sản xuất lệch khỏi kết quả đánh giá, các kỹ sư sẽ điều tra sự chênh lệch để tìm hiểu nguyên nhân. Vòng lặp phản hồi liên tục này cho phép đội ngũ điều chỉnh các mặc định mô hình và trần nỗ lực dựa trên hiệu suất thực tế thay vì các benchmark tĩnh.

Cách thức hoạt động

Cốt lõi trong chiến lược của Airbnb là chỉ số chi phí trên mỗi tác vụ. Một agent lập trình thường yêu cầu nhiều yêu cầu (request) để hoàn thành một tác vụ duy nhất, và mô hình đọc lại toàn bộ ngữ cảnh tích lũy với mỗi yêu cầu. Do đó, việc tính giá cho từng yêu cầu riêng lẻ là không đủ. Thay vào đó, đội ngũ tính tổng chi phí niêm yết của tất cả các token được sử dụng để hoàn thành một tác vụ. Amazon Bedrock báo cáo bốn loại token cho mỗi yêu cầu: input không cache, cache reads, cache writes và output. Mỗi loại có một mức giá khác nhau. Cache reads rẻ hơn so với input không cache, trong khi cache writes có thể đắt hơn tùy thuộc vào mô hình. Tỷ lệ cache hit thấp có thể làm tăng đáng kể chi phí trên mỗi yêu cầu, vì vậy việc theo dõi các thành phần này là rất cần thiết.

Để đánh giá các mô hình, Airbnb sử dụng một framework tên là Harbor, một công cụ mã nguồn mở để chạy các bài đánh giá agent trong môi trường sandbox. Mỗi tác vụ đánh giá được định nghĩa dưới dạng một thư mục chứa hướng dẫn, cấu hình môi trường, các bài kiểm tra và một grader (công cụ chấm điểm). Grader là một chương trình hoặc mô hình chấm điểm công việc của agent so với một giải pháp tham chiếu. Ví dụ, một tác vụ học máy có thể yêu cầu agent so sánh hai mô hình ứng viên và quyết định xem có nên triển khai mô hình mới hay không. Grader tính toán lại câu trả lời đúng từ dữ liệu đóng băng (frozen data) và chỉ trao thưởng nếu tất cả các bước kiểm tra đều đạt. Cách tiếp cận này đảm bảo rằng các bài đánh giá nhất quán và có thể tái tạo.

Khả kiến trong môi trường sản xuất dựa vào các metric của Amazon CloudWatch trong namespace AWS/Bedrock. Các kỹ sư giám sát độ trễ bằng cách sử dụng InvocationLatency và TimeToFirstToken, đo lường thời gian chờ trước khi quá trình sinh văn bản bắt đầu. Họ cũng theo dõi tình trạng throttling thông qua InvocationThrottles và mức tiêu thụ quota bằng cách sử dụng EstimatedTPMQuotaUsage. Metric sau cùng này bao gồm các token cache write và các hệ số giảm dần output, cho phép các đội ngũ đặt cảnh báo chủ động trước khi chạm tới giới hạn tốc độ. Việc giám sát chi phí liên quan đến theo dõi InputTokenCount, CacheReadInputTokenCount, CacheWriteInputTokenCount và OutputTokenCount. Bằng cách so sánh các tín hiệu sản xuất này với điểm số đánh giá, đội ngũ có thể xác định khi nào cần thay đổi mặc định mô hình hoặc điều chỉnh trần nỗ lực.

Chi tiết quan trọng

  • Định nghĩa chi phí trên mỗi tác vụ: Tổng chi phí niêm yết của tất cả các token mà một agent sử dụng để hoàn thành một tác vụ, bao gồm input không cache, cache reads, cache writes và output.
  • Tốc độ đánh giá: Các mô hình mới có thể được đánh giá trên tất cả các bộ tác vụ trong vòng vài giờ, với kết quả đầy đủ có sẵn vào sáng hôm sau, cho phép đưa ra các quyết định triển khai nhanh chóng.
  • Tác động của nỗ lực suy luận: Tăng mức độ nỗ lực suy luận có thể cải thiện điểm số nhưng làm tăng đáng kể chi phí; đối với một mô hình, việc chuyển từ mức nỗ lực thấp sang cao đã làm tăng chi phí trên mỗi tác vụ lên 2,5 lần.
  • Metric sản xuất: Các metric CloudWatch chính bao gồm TimeToFirstToken, OutputTokenCount và số token đầu ra trên giây (OTPS) được suy ra, tính bằng công thức OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000.
  • Cấu trúc tác vụ: Các tác vụ đánh giá bao gồm hướng dẫn, định nghĩa môi trường, grader và giải pháp tham chiếu, đảm bảo việc chấm điểm nhất quán giữa các mô hình và mức độ nỗ lực khác nhau.
  • Quản lý quota: EstimatedTPMQuotaUsage giúp theo dõi mức tiêu thụ token trên tất cả các API suy luận, cho phép các đội ngũ yêu cầu tăng quota trước khi xảy ra tình trạng giới hạn tốc độ.

Tại sao điều này quan trọng

Đối với các đội ngũ xây dựng phần mềm bằng AI, việc chỉ dựa vào các benchmark công khai có thể dẫn đến những chi phí và vấn đề hiệu suất bất ngờ. Các biểu đồ công khai không tính đến các đặc điểm cụ thể của quy trình làm việc, chẳng hạn như độ dài ngữ cảnh, hành vi caching hoặc độ phức tạp của các codebase nội bộ. Bằng cách áp dụng chỉ số chi phí trên mỗi tác vụ, các tổ chức có thể đưa ra những quyết định sáng suốt hơn về việc sử dụng mô hình nào cho các loại công việc cụ thể. Cách tiếp cận này chuyển trọng tâm từ giá token thô sang hiệu quả kinh tế thực tế trong việc hoàn thành các tác vụ kỹ thuật. Nó cũng nhấn mạnh tầm quan trọng của các chiến lược caching, vì tỷ lệ cache miss có thể ảnh hưởng đáng kể đến tổng chi tiêu.

Hơn nữa, việc tích hợp đánh giá và khả kiến tạo ra một khung vận hành vững chắc. Khi các mô hình mới được ra mắt thường xuyên, việc có một quy trình chuẩn hóa để thử nghiệm và giám sát cho phép các đội ngũ áp dụng các cải tiến nhanh chóng đồng thời giảm thiểu rủi ro. Việc đặt trần nỗ lực dựa trên dữ liệu đánh giá ngăn chặn chi phí vượt mức từ các quy trình suy luận quá dài dòng hoặc kém hiệu quả. Kỷ luật này đảm bảo rằng các công cụ AI vẫn là tài sản bền vững và có giá trị cho các đội ngũ kỹ thuật, thay vì trở thành những khoản chi phí không được quản lý. Khả năng suy ra các metric như OTPS từ dữ liệu CloudWatch cơ bản cũng trao quyền cho các đội ngũ chẩn đoán các vấn đề độ trễ mà không cần chờ đợi sự hỗ trợ từ nhà cung cấp.

Bạn có thể làm gì

  • Xác định một tập hợp các tác vụ kỹ thuật đại diện với hướng dẫn rõ ràng, cấu hình môi trường và grader tự động để thiết lập đường cơ sở (baseline) cho việc đánh giá mô hình.
  • Triển khai một gateway hoặc proxy phía trước nhà cung cấp LLM của bạn để ghi lại dữ liệu về mô hình, client, nhóm và người dùng cho mỗi yêu cầu, cho phép lập kế hoạch chi phí và năng lực tổng hợp.
  • Kích hoạt nhật ký gọi mô hình (model invocation logging) ở tất cả các khu vực AWS liên quan và hạn chế quyền truy cập vào nhật ký để bảo vệ dữ liệu prompt và phản hồi nhạy cảm.
  • Sử dụng các metric CloudWatch để giám sát TimeToFirstToken và OutputTokenCount, và suy ra số token đầu ra trên giây để chẩn đoán các vấn đề độ trễ trong môi trường sản xuất.
  • Tính toán chi phí trên mỗi tác vụ bằng cách cộng dồn chi phí của tất cả các loại token (input không cache, cache reads, cache writes, output) cho mỗi tác vụ agent đã hoàn thành.
  • Đặt các cảnh báo chủ động bằng cách sử dụng EstimatedTPMQuotaUsage để theo dõi mức tiêu thụ token và yêu cầu tăng quota trước khi đạt đến giới hạn tốc độ.
  • #amazon bedrock
  • #ai agents
  • #cost optimization
  • #llm ops
  • #airbnb

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết