GPT-6.1 Terra đánh đổi độ chính xác lấy tốc độ trong các tác vụ suy luận cường độ cao

OpenAI đã phát hành GPT-6.1 Terra vào ngày 26 tháng 10, định vị nó như một giải pháp thay thế tiết kiệm chi phí cho mô hình chủ lực GPT-6 Astra. Các thử nghiệm độc lập cho thấy mặc dù Terra mang lại lợi thế đáng kể về tốc độ và giá cả, nó lại kém hơn Astra trong các tác vụ suy luận số học phức tạp và xác thực dữ liệu toàn diện.

Điều gì đã xảy ra

OpenAI định giá GPT-6.1 Terra bằng một phần mười mức phí tiêu chuẩn cho mỗi token đầu vào và đầu ra của GPT-6 Astra. Mô hình tầm trung này có giá $1 cho mỗi triệu token đầu vào và $5 cho mỗi triệu token đầu ra, so với mức $10 và $50 tương ứng của Astra. OpenAI tuyên bố rằng Terra hoàn thành các tác vụ nhanh hơn ba lần so với Astra trong bài kiểm tra nội bộ "Agents’ Last Exam", mặc dù kết quả sử dụng máy tính này không thể so sánh trực tiếp với các bài kiểm tra tổng hợp độc lập.

Để đánh giá những đánh đổi thực tế giữa chi phí và độ chính xác, một loạt ba bài kiểm tra tổng hợp đã được tiến hành sử dụng phiên bản cuối cùng của mỗi mô hình thông qua API của OpenAI. Các bài kiểm tra tập trung vào các kịch bản suy luận cường độ cao, nơi các mô hình trước đây từng gặp khó khăn. Mục tiêu là đo lường tốc độ, chi phí token ước tính và độ chính xác trên các loại khối lượng công việc kỹ thuật khác nhau, thay vì sao chép các bài kiểm tra chuẩn nội bộ của OpenAI.

Kết quả làm nổi bật sự phân kỳ rõ rệt về hiệu suất. Trong khi cả hai mô hình đều hoạt động giống hệt nhau ở các bài kiểm tra dễ và trung bình, các bài kiểm tra khó đã phơi bày những hạn chế của Terra. Trong một số trường hợp, Terra tránh trả lời hoàn toàn các câu hỏi khó, chuyển giao công việc lại cho người dùng, trong khi ở những trường hợp khác, nó cung cấp các câu trả lời tự tin nhưng sai lệch. Astra duy trì độ chính xác cao hơn nhưng với chi phí và độ trễ cao hơn đáng kể.

Cách thức hoạt động

Quá trình đánh giá liên quan đến việc chạy các bài kiểm tra đơn lẻ cho suy luận SQL, xác thực dữ liệu và phân loại nhật ký sự cố. Mỗi bài kiểm tra được chấm điểm dựa trên các khóa đã được xác minh, không áp dụng giới hạn token đầu ra, mặc dù các giới hạn tích hợp sẵn của mô hình vẫn được áp dụng. Cài đặt cường độ suy luận "high" (cao) đã được sử dụng cho cả hai mô hình, mặc dù điều này không đảm bảo ngân sách token suy luận giống hệt nhau cho mỗi mô hình.

Trong bài kiểm tra suy luận SQL, các mô hình đã phân tích một cơ sở dữ liệu giả gồm 500 bản dựng phần mềm với các điều kiện phức tạp như xóa mềm (soft deletes) và chi phí đa tiền tệ. Terra xử lý dữ liệu nhanh chóng nhưng thất bại trong việc tính toán tổng cho sáu câu hỏi, thay vào đó viết các truy vấn SQL để người dùng tự chạy. Nó cũng cung cấp số lượng sai cho bốn câu hỏi khác với độ tự tin cao. Astra, tuy chậm hơn và đắt đỏ hơn, đã cố gắng thực hiện tất cả các phép tính và ghi điểm cao hơn đáng kể, mặc dù vẫn tạo ra một tổng hơi sai lệch cho một chỉ số.

Đối với xác thực dữ liệu, các mô hình đã kiểm tra 4.950 hồ sơ khách hàng theo 19 quy tắc. Terra đã đánh dấu 35 trong số 40 hồ sơ không hợp lệ với độ chính xác hoàn hảo đối với các hồ sơ hợp lệ, bỏ sót năm trường hợp yêu cầu so sánh chéo giữa các hồ sơ. Astra bắt được tất cả 40 hồ sơ không hợp lệ nhưng mất gấp hơn bốn lần thời gian và tốn khoảng gấp mười hai lần chi phí. Trong phân loại nhật ký sự cố, cả hai mô hình đều xác định thành công nguyên nhân gốc rễ của một sự cố giả và bỏ qua các manh mối sai lệch được cài cắm, dẫn đến kết quả hòa bất chấp việc Astra sử dụng nhiều tài nguyên hơn.

Chi tiết chính

• Giá cả: GPT-6.1 Terra có giá $1/triệu token đầu vào và $5/triệu token đầu ra, bằng một phần mười chi phí của GPT-6 Astra ($10/$50).
• Độ chính xác SQL: Astra ghi điểm 48/50 trong khi Terra ghi điểm 26/50, với việc Terra thất bại trong việc trả lời sáu câu hỏi tổng hợp và cung cấp bốn số lượng sai.
• Xác thực dữ liệu: Astra đạt điểm hoàn hảo 50/50, trong khi Terra ghi điểm 45/50, bỏ sót năm hồ sơ không hợp lệ yêu cầu tham chiếu chéo.
• Phân loại sự cố: Cả hai mô hình đều ghi điểm 50/50, xác định đúng nguyên nhân gốc rễ và bỏ qua các manh mối sai lệch trong một nhiệm vụ phân tích nhật ký phức tạp.
• Tốc độ và Chi phí: Trên cả ba bài kiểm tra, Terra mất 258,8 giây và có chi phí ước tính $0,61, trong khi Astra mất 709,2 giây và tốn $7,88.
• Token suy luận: Terra nhất quán tạo ra ít token suy luận hơn Astra, góp phần vào chi phí thấp hơn và thời gian phản hồi nhanh hơn.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, những kết quả này làm rõ nơi nào có thể tiết kiệm chi phí an toàn và nơi nào chúng gây ra rủi ro. Hiệu suất của Terra trong phân loại nhật ký sự cố cho thấy nó là một lựa chọn khả thi, chi phí thấp cho việc gỡ lỗi ban đầu hoặc phân tích nhật ký, nơi tốc độ là yếu tố then chốt và hậu quả của một lỗi nhỏ là có thể quản lý được. Khả năng của nó trong việc khớp với độ chính xác của Astra trong lĩnh vực này mà không cần mức giá premium khiến nó hấp dẫn cho các tác vụ vận hành khối lượng lớn.

Tuy nhiên, sự sụt giảm độ chính xác trong suy luận SQL và xác thực dữ liệu nhấn mạnh những nguy hiểm của việc sử dụng các mô hình rẻ hơn cho báo cáo tài chính hoặc kiểm tra tuân thủ nghiêm ngặt. Xu hướng của Terra cung cấp các câu trả lời tự tin nhưng sai lệch cho các phép đếm đơn giản, hoặc đẩy trách nhiệm tính toán sang người dùng, đòi hỏi bước xác minh con người trong vòng lặp (human-in-the-loop) vững chắc. Các kỹ sư không thể giả định rằng mức giá thấp hơn đi kèm với độ tin cậy tương đương cho việc tổng hợp số học hoặc kiểm tra quy tắc toàn diện.

Sự khác biệt này buộc các nhóm phải phân đoạn các khối lượng công việc AI của họ cẩn thận hơn. Các tác vụ thường xuyên, mang tính diễn giải có thể hưởng lợi từ hiệu quả của Terra, nhưng tính toàn vẹn dữ liệu quan trọng và các phép tính tài chính vẫn đòi hỏi độ trung thực cao hơn của Astra. Lựa chọn giờ đây không chỉ là về ngân sách, mà còn về loại suy luận cụ thể cần thiết và biên độ lỗi chấp nhận được cho mỗi ứng dụng.

Bạn có thể làm gì

• Sử dụng GPT-6.1 Terra cho phân loại sự cố ban đầu và phân tích nhật ký để giảm chi phí và cải thiện thời gian phản hồi.
• Tránh sử dụng Terra cho tổng hợp số học chưa được kiểm tra hoặc báo cáo tài chính do xu hướng cung cấp các số đếm sai lệch của nó.
• Triển khai các bước xác minh con người khi sử dụng Terra cho các tác vụ xác thực dữ liệu, đặc biệt là những tác vụ yêu cầu so sánh chéo giữa các hồ sơ.
• Dành riêng GPT-6 Astra cho các truy vấn SQL rủi ro cao và kiểm tra tuân thủ dữ liệu toàn diện, nơi độ chính xác là tối quan trọng.
• Giám sát việc sử dụng token suy luận để hiểu tại sao các mô hình mắc những lỗi cụ thể và điều chỉnh độ phức tạp của prompt cho phù hợp.
• Kiểm tra cả hai mô hình trên khối lượng công việc cụ thể của bạn trước khi cam kết sử dụng một mô hình, vì hiệu suất biến động đáng kể tùy thuộc vào loại tác vụ.