Xây dựng với AI

Anthropic's Fable 5.2 vượt Opus về chi phí nhưng vẫn khuyên dùng Opus

Anthropic vừa ra mắt Fable 5.2, một mô hình đạt hiệu suất tương đương Opus 5.5 trên các bài kiểm tra lập trình với chi phí chỉ bằng một nửa, song lại khuyến nghị các nhà phát triển tiếp tục sử dụng Opus cho công việc hàng ngày.

Một quân cờ kim loại đại diện cho Fable bên cạnh các quân cờ gỗ nhỏ hơn đại diện cho Opus, với sổ sách chi phí ở phía nền.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Anthropic đã ra mắt Fable 5.2, một mô hình AI mới được thiết kế dành cho các quá trình di chuyển phần mềm phức tạp và hệ thống đa tác nhân (multi-agent systems). Mặc dù vượt qua mô hình chủ lực Opus 5.5 trong các bài kiểm tra lập trình quan trọng với chi phí thực hiện nhiệm vụ chỉ khoảng một nửa, công ty này vẫn khuyến nghị rõ ràng rằng hầu hết các nhà phát triển nên tiếp tục sử dụng Opus 5.5 cho công việc lập trình và tri thức hàng ngày.

Chuyện gì đã xảy ra

Việc ra mắt Fable 5.2 tạo ra một nghịch lý trong việc lựa chọn mô hình. Trên bộ tiêu chuẩn FrontierCode 2.0, Fable 5.2 khi hoạt động ở mức nỗ lực cao đã đạt điểm số 45,3%, gần như tương đương với kết quả tốt nhất của Opus 5.5 là 45,5%. Tuy nhiên, Fable hoàn thành các nhiệm vụ này với chi phí chỉ bằng khoảng một nửa so với Opus. Lợi ích về hiệu quả chi phí này đạt được mặc dù giá cơ bản của Fable cao hơn đáng kể, với mức $8 mỗi triệu token đầu vào và $40 mỗi triệu token đầu ra, so với mức $4 và $20 tương ứng của Opus.

Anthropic giải thích rằng hiệu quả chi phí này đến từ khả năng của Fable trong việc giải quyết các vấn đề khó khăn bằng ít token tổng cộng hơn hoặc thông qua các con đường trực tiếp hơn, do đó giảm tải tính toán tổng thể bất chấp tỷ lệ giá theo token cao hơn. Trong một thử nghiệm nội bộ liên quan đến 1.000 tác nhân chính thức hóa Định lý Fermat Cuối cùng, Fable 5.2 đã hoàn thành nhiệm vụ trong 30 giờ. Ngược lại, Opus 5.5 với cấu hình tương tự chỉ đạt mức hoàn thành 26% sau 18 giờ và tiến bộ rất ít cho đến mốc 30 giờ. Điều này cho thấy Fable được tối ưu hóa cho các nhiệm vụ nghiên cứu dài hạn, độ phức tạp cao thay vì các vòng lặp phát triển tiêu chuẩn.

Bất chấp các chỉ số này, Anthropic khẳng định rằng Opus 5.5 vẫn là "công cụ làm việc hàng ngày mạnh mẽ nhất" cho hầu hết người dùng. Công ty định vị Fable không phải là sự thay thế cho lập trình đa mục đích, mà là một công cụ chuyên dụng cho các thay đổi kiến trúc quy mô lớn, điều phối đa tác nhân và nghiên cứu sâu nơi các mô hình thông thường bị đình trệ.

Cách thức hoạt động

Fable 5.2 được thiết kế để hoạt động như một bộ điều phối (orchestrator) trong kiến trúc đa mô hình. Thay vì tự mình xử lý mọi bước của quy trình làm việc, Fable có thể ủy quyền các nhiệm vụ phụ đơn giản hơn cho các mô hình rẻ hơn như Opus 5.5 hoặc Sonnet 5.5. Nó đóng vai trò là một bộ lập kế hoạch cấp cao phân tích các phụ thuộc và lập bản đồ các thay đổi xuyên suốt các dịch vụ, sau đó giao các chi tiết triển khai cho các mô hình ít tốn kém hơn. Khi các mô hình đó gặp khó khăn, chúng có thể leo thang vấn đề trở lại Fable để suy luận sâu hơn.

Chiến lược ủy quyền này nhằm mục đích dành riêng các khả năng suy luận đắt đỏ cho những phần khó khăn nhất của dự án. Ví dụ, trong quá trình di chuyển phần mềm lớn, Fable có thể lên kế hoạch cho cấu trúc tổng thể trong khi Opus viết các module mã riêng lẻ. Cách tiếp cận này phản ánh hạ tầng mà các công ty như Coinbase đã áp dụng, định tuyến các nhiệm vụ dựa trên độ phức tạp và cắt giảm chi tiêu AI nội bộ xuống gần một nửa bất chấp lượng token sử dụng tăng lên.

Tuy nhiên, việc chuyển đổi giữa các mô hình sẽ gây ra "thuế chuyển đổi ngữ cảnh" (context-switching tax). Fable 5.2 có thể đọc các khối suy nghĩ (thinking blocks) do Opus 5.5 tạo ra, cho phép nó hiểu quy trình suy luận của mô hình rẻ hơn. Điều ngược lại thì không đúng: Opus không thể đọc các khối suy nghĩ của Fable. Sự bất đối xứng này có nghĩa là việc truyền ngữ cảnh qua lại có thể đòi hỏi thêm token và kỹ thuật cẩn thận để đảm bảo mô hình rẻ hơn giữ đủ thông tin để tiếp tục mà không cần tính toán lại dư thừa.

Chi tiết chính

  • Fable 5.2 đạt 45,3% trên FrontierCode 2.0, gần khớp với 45,5% của Opus 5.5.
  • Chi phí nhiệm vụ của Fable thấp hơn khoảng một nửa so với Opus trong các bài kiểm tra tiêu chuẩn, bất chấp giá theo token cao hơn.
  • Fable có giá $8 mỗi triệu token đầu vào và $40 mỗi triệu token đầu ra; Opus có giá $4 và $20.
  • Trong bài kiểm tra 30 giờ, 1.000 tác nhân Fable đã chính thức hóa Định lý Fermat Cuối cùng, trong khi các tác nhân Opus chỉ đạt mức hoàn thành 26%.
  • Fable có thể đọc các khối suy nghĩ của Opus, nhưng Opus không thể đọc các khối suy nghĩ của Fable, tạo ra sự chia sẻ ngữ cảnh bất đối xứng.
  • Anthropic khuyến nghị bắt đầu với Opus và chỉ chuyển sang Fable khi các đánh giá Opus ở mức nỗ lực cao thất bại.

Tại sao điều này quan trọng

Đối với các trưởng nhóm kỹ thuật và kiến trúc sư, bản phát hành này thách thức giả định rằng giá theo token thấp hơn luôn đồng nghĩa với tổng chi phí thấp hơn. Dữ liệu gợi ý rằng đối với các nhiệm vụ phức tạp, nhiều bước, một mô hình đắt tiền hơn nhưng giải quyết vấn đề trực tiếp hơn có thể rẻ hơn so với một mô hình rẻ hơn nhưng đòi hỏi sự lặp đi lặp lại mở rộng. Điều này chuyển trọng tâm từ giá đơn vị sang tổng chi phí nhiệm vụ, đòi hỏi các đội ngũ phải đánh giá các mô hình dựa trên hiệu quả đầu-cuối thay vì chỉ nhìn vào tỷ lệ API.

Việc giới thiệu Fable như một bộ điều phối cũng báo hiệu xu hướng chuyển dịch sang các hệ thống AI dị hợp (heterogeneous). Các nhà phát triển sẽ ngày càng cần xây dựng hạ tầng có thể định tuyến các nhiệm vụ một cách động giữa các mô hình có khả năng khác nhau. Điều này đòi hỏi các chiến lược quản lý ngữ cảnh vững chắc để xử lý sự bất đối xứng trong cách các mô hình chia sẻ dữ liệu suy luận. Việc không quản lý hiệu quả các quá trình bàn giao này có thể xóa sạch khoản tiết kiệm chi phí thu được nhờ ủy quyền cho các mô hình rẻ hơn.

Hơn nữa, khuyến nghị của Anthropic về việc tiếp tục sử dụng Opus cho công việc hàng ngày, bất chấp sự vượt trội của Fable trên các bài kiểm tra tiêu chuẩn, làm nổi bật khoảng cách giữa hiệu suất benchmark và khả năng sử dụng thực tế. Nó gợi ý rằng đối với lập trình thường nhật, lợi ích biên về độ sâu suy luận mà Fable cung cấp không biện minh cho sự phức tạp vận hành khi tích hợp một mô hình mới vào quy trình làm việc hàng ngày. Các kỹ sư phải cân bằng giữa khả năng thô và ma sát trong việc áp dụng và tích hợp.

Bạn có thể làm gì

  • Kiểm toán các quy trình làm việc AI hiện tại của bạn để xác định các nhiệm vụ dài hạn, độ phức tạp cao bị đình trệ hoặc đòi hỏi sự lặp lại quá mức.
  • Thử nghiệm Fable 5.2 trên các dự án di chuyển hoặc nghiên cứu cụ thể nơi Opus 5.5 trước đây đã thất bại trong việc hoàn thành.
  • Tính toán tổng chi phí nhiệm vụ thay vì chỉ giá theo token khi so sánh hiệu quả mô hình cho các tác nhân phức tạp.
  • Thiết kế kiến trúc tác nhân của bạn để cho phép Fable ủy quyền các nhiệm vụ đơn giản cho Opus hoặc Sonnet, dành riêng Fable cho việc leo thang.
  • Triển khai các cơ chế truyền ngữ cảnh vững chắc để xử lý khả năng hiển thị một chiều của các khối suy nghĩ giữa Fable và Opus.
  • Bắt đầu với Opus cho công việc lập trình hàng ngày và chỉ giới thiệu Fable khi các yêu cầu cụ thể về nỗ lực cao không được đáp ứng.
  • #anthropic
  • #llm economics
  • #ai agents
  • #software engineering
  • #model orchestration

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết