GPT-6.1 Terra vượt trội Claude Opus 5.5 về chi phí và tốc độ trong các bài kiểm tra chuẩn

OpenAI đã phát hành GPT-6.1 Terra vào ngày 26 tháng 10, định vị nó như một giải pháp thay thế hiệu quả cao cho Claude Opus 5.5 của Anthropic. Các thử nghiệm độc lập được thực hiện ngay sau khi ra mắt cho thấy Terra không chỉ ngang bằng mà thường còn vượt trội so với đối thủ cạnh tranh trong các quy trình làm việc phức tạp cụ thể, tất cả đều với chi phí chỉ bằng một phần nhỏ.

Điều gì đã xảy ra

Sau những tuyên bố của OpenAI rằng Terra cung cấp hiệu quả token vượt trội, các bài kiểm tra độc lập đã được thiết kế để đánh giá các mô hình trong ba kịch bản đòi hỏi khắt khe: phân loại lỗi khi phát hành (release triage), theo dõi dòng tế bào khoa học và kiểm toán lịch sử tích hợp liên tục (CI). Các bài kiểm tra được chạy ở chế độ nỗ lực tối đa cho cả hai mô hình, sử dụng API tương ứng của chúng mà không giới hạn số lượt tương tác. Mục tiêu là đo lường độ chính xác, tỷ lệ hoàn thành, thời gian giải quyết và chi phí ước tính trong các điều kiện tiêu chuẩn hóa.

Kết quả cho thấy sự khác biệt đáng kể về hiệu suất và kinh tế. Trong bài kiểm tra phân loại lỗi khi phát hành, cả hai mô hình đều đạt điểm tuyệt đối, nhưng Terra hoàn thành nhiệm vụ trong thời gian ngắn hơn và với ít token đầu ra hơn rất nhiều. Trong thử thách theo dõi dòng tế bào, yêu cầu viết và thực thi mã Python để theo dõi các tế bào đang phân chia trong đoạn video kính hiển vi, Terra ghi điểm cao hơn và hoàn thành trong khoảng một nửa thời gian. Đáng chú ý nhất, trong cuộc kiểm toán lịch sử CI liên quan đến các bảng dữ liệu lộn xộn, Terra đưa ra câu trả lời gần như hoàn hảo trong khi Claude Opus 5.5 thất bại trong việc tạo ra bất kỳ kết quả cuối cùng nào trước khi chạm ngưỡng giới hạn token đầu ra.

Cách thức hoạt động

Khoảng cách về hiệu quả bắt nguồn từ cách mỗi mô hình quản lý việc sử dụng token trong các tác vụ suy luận đa bước. GPT-6.1 Terra được báo cáo là hiệu quả token gấp hơn ba lần so với Opus 5.5 đối với các đầu vào và đầu ra tiêu chuẩn. Cấu trúc giá phản ánh điều này, với token đầu vào có giá $1 cho mỗi triệu và token đầu ra là $5 cho mỗi triệu, so với mức $4 và $20 tương ứng của Opus 5.5. Điều này có nghĩa là Terra sẽ cần sử dụng số token gấp bốn lần để khớp với chi phí cơ bản của Opus, tuy nhiên trong các bài kiểm tra này, nó đã sử dụng ít hơn đáng kể.

Về mặt thực tế, phương pháp tiếp cận của Terra bao gồm việc kiểm soát chặt chẽ hơn các vòng lặp tương tác. Ví dụ, trong quá trình phân loại lỗi khi phát hành dựa trên trình duyệt, Terra phụ thuộc nhiều hơn vào việc nhấp vào các phần tử giao diện thay vì nhập lại URL nhiều lần, điều này làm giảm đáng kể khối lượng token đầu ra được tạo ra. Ngược lại, Opus đã nhập URL hơn một trăm lần, làm tăng số lượng token và chi phí mà không cải thiện độ chính xác. Cả hai mô hình đều bao gồm các token suy luận trong tổng số đầu ra, nhưng khả năng của Terra trong việc đạt được kết luận đúng đắn với ít bước trung gian hơn thúc đẩy chi phí tổng thể thấp hơn.

Chi tiết chính

• Hiệu quả chi phí: Trong cả ba bài kiểm tra, chi phí token không được lưu trữ (uncached) ước tính của Terra là $25.99, so với $214.96 của Opus 5.5, tương ứng với tỷ lệ chi phí là 8,27:1.
• Tốc độ: Terra hoàn thành khối lượng công việc kết hợp trong 2.418 giây, trong khi Opus mất 3.962 giây, tiết kiệm khoảng 25 phút.
• Phân loại lỗi khi phát hành: Cả hai mô hình đều ghi điểm 50/50, nhưng Terra đạt được điều này với chi phí token không được lưu trữ ước tính chỉ bằng 17,1% so với Opus.
• Theo dõi dòng tế bào: Terra ghi điểm 48/50 và hoàn thành trong 15 phút, trong khi Opus ghi điểm 43,5/50 và mất 36 phút.
• Kiểm toán CI: Terra ghi điểm 47/50 trong một tác vụ bảng dữ liệu phức tạp; Opus thất bại trong việc trả về câu trả lời cuối cùng trong giới hạn đầu ra 128.000 token của mình.
• Giá cả: Mức giá tiêu chuẩn của Terra là $1/triệu token đầu vào và $5/triệu token đầu ra, so với $4 và $20 cho Opus 5.5.

Tại sao điều này quan trọng

Đối với các nhóm kỹ thuật xây dựng tác nhân AI, những phát hiện này gợi ý rằng việc lựa chọn mô hình nên cân nhắc kỹ lưỡng hiệu quả token bên cạnh độ chính xác thô. Một mô hình yêu cầu ít lượt hơn và đầu ra ít dài dòng hơn để đạt được giải pháp đúng đắn có thể giảm đáng kể chi phí vận hành, đặc biệt là trong các ứng dụng có khối lượng lớn. Sự khác biệt giữa $25 và $215 cho một quy trình làm việc phức tạp duy nhất là rất lớn khi mở rộng ra hàng nghìn tác vụ hàng ngày. Các nhà phát triển giờ đây có thể xem xét Terra cho các khối lượng công việc trước đây chỉ dành cho các mô hình đắt tiền hơn, miễn là tác vụ cụ thể phù hợp với thế mạnh của nó trong việc thực thi mã và xử lý dữ liệu có cấu trúc.

Tuy nhiên, các bài kiểm tra cũng làm nổi bật những thách thức dai dẳng với việc xử lý dữ liệu quy mô lớn. Mặc dù Terra hoàn thành cuộc kiểm toán CI, nó vẫn mắc phải những lỗi nhỏ trong việc đếm trạng thái và nhận diện sai các câu hỏi không thể trả lời. Điều này củng cố nhu cầu về các lớp xác thực mạnh mẽ trong các ứng dụng AI. Các nhóm không thể chỉ dựa vào độ tin cậy tự báo cáo hoặc định dạng đầu ra của mô hình; các tập lệnh xác minh bên ngoài vẫn rất cần thiết cho độ chính xác số học và tính toàn vẹn dữ liệu, bất kể mức độ tinh vi của mô hình.

Bạn có thể làm gì

• So sánh hiệu suất (benchmark) Terra với mô hình hiện tại của bạn bằng cách sử dụng các cài đặt nỗ lực tối đa cho các tác vụ phức tạp, đa bước của tác nhân.
• Triển khai xác thực đầu ra nghiêm ngặt cho dữ liệu số, vì ngay cả các mô hình hàng đầu cũng có thể đếm sai hoặc hiểu nhầm các mục mơ hồ.
• Giám sát các mẫu sử dụng token, đặc biệt tìm kiếm việc nhập URL quá mức hoặc suy luận dài dòng làm tăng chi phí.
• Thử nghiệm các chiến lược bộ nhớ đệm (caching), vì các đầu vào lặp đi lặp lại như ảnh chụp màn hình có thể giảm đáng kể chi phí nếu được quản lý đúng cách.
• Đánh giá xem khối lượng công việc của bạn hưởng lợi nhiều hơn từ tốc độ và hiệu quả chi phí của Terra hay từ các thế mạnh tiềm năng của Opus trong các lĩnh vực khác không được đề cập ở đây.
• Bắt đầu với Terra cho các tác vụ tự động hóa trình duyệt và tạo mã để tận dụng hiệu quả đã được chứng minh của nó trong các lĩnh vực này.