Subquadratic Snap nhắm tới các quyết định ngữ cảnh dài với cửa sổ 384k token

Startup Subquadratic có trụ sở tại San Francisco đã ra mắt SubQ Snap, một mô hình quyết định mới được thiết kế để xử lý lên đến 384.000 token trong một yêu cầu duy nhất. Bản phát hành này đánh dấu sự mở rộng đáng kể về dung lượng ngữ cảnh so với các đối thủ gần đây, nhằm mục đích xử lý các nhiệm vụ suy luận phức tạp trên các cơ sở mã lớn và bộ tài liệu mà không cần chia nhỏ.

Điều gì đã xảy ra

Việc ra mắt diễn ra sau sự quan tâm gia tăng đối với các mô hình quyết định, một lớp hệ thống AI chuyên biệt chọn từ các câu trả lời được xác định trước thay vì tạo văn bản mở. Mô hình Jev của TypeSafe, phát hành vào giữa tháng Chín với giới hạn 32.000 token, đã khơi mào xu hướng này, thúc đẩy các công ty công nghệ lớn bao gồm OpenAI, Microsoft và Amazon tham gia vào lĩnh vực này. Subquadratic định vị Snap như một sự tiến hóa trực tiếp của khái niệm này, tuyên bố rằng nó có thể xử lý gấp mười hai lần ngữ cảnh so với Jev.

CEO Alex Whedon của Subquadratic cho biết mặc dù Jev là nguồn cảm hứng cho Snap, nhưng mô hình mới được xây dựng để gánh vác phần lớn công việc nặng nhọc khỏi các mô hình ngôn ngữ lớn (LLM) tiên phong đắt đỏ. Thay vì sử dụng các mô hình đa năng khổng lồ cho mọi bước trong quy trình làm việc của tác nhân AI, Snap đảm nhận các công việc quản trị nặng nề. Điều này bao gồm việc lựa chọn công cụ, xác định các tệp liên quan hoặc đánh giá kết quả kiểm thử. Công ty lập luận rằng các mô hình quyết định hiện tại gặp khó khăn khi thông tin cần thiết vượt quá cửa sổ ngữ cảnh nhỏ của chúng, buộc các nhà phát triển phải loại bỏ dữ liệu có thể rất quan trọng.

Snap hiện đang có sẵn dưới dạng xem trước công khai. Công ty định giá dịch vụ ở mức $0,05 cho mỗi triệu token đầu vào, không tính phí cho đầu ra. Whedon giải thích rằng vì mô hình chỉ đọc đầu vào và trả về điểm xác suất cho các câu trả lời được phép, chi phí tính toán bị lệch mạnh về phía xử lý ngữ cảnh hơn là tạo văn bản. Một yêu cầu đầy đủ 384.000 token có chi phí khoảng hai xu.

Cách thức hoạt động

Snap dựa trên Subquadratic Sparse Attention (SSA), một kiến trúc do công ty giới thiệu vào tháng Năm. Các mô hình transformer truyền thống tính toán cơ chế chú ý theo cấp số bậc hai, nghĩa là tải tính toán tăng đột biến khi độ dài đầu vào tăng. SSA thay đổi mối quan hệ này sao cho yêu cầu về cơ chế chú ý tăng tuyến tính theo độ dài ngữ cảnh. Điều này cho phép mô hình xử lý hàng trăm nghìn token một cách hiệu quả mà không gặp phải sự gia tăng chi phí theo cấp số mũ thường thấy ở các kiến trúc tiêu chuẩn.

Mô hình được thiết kế để loại bỏ các bước tiền xử lý mong manh như tóm tắt mạnh mẽ hoặc chia nhỏ chi tiết. Khi một tác nhân AI cần sửa lỗi, nó có thể đưa toàn bộ các mô-đun, nhật ký và tài liệu vào Snap cùng một lúc. Mô hình phân tích toàn bộ ngữ cảnh để đưa ra quyết định, chẳng hạn như tệp nào cần chỉnh sửa hoặc công cụ nào cần gọi tiếp theo. Mặc dù vẫn cần các hệ thống truy xuất cho các kho dữ liệu lớn hơn 384.000 token, Whedon lưu ý rằng cửa sổ lớn hơn cho phép truy xuất thô hơn, lấy vào toàn bộ tài liệu thay vì các đoạn cắt tỉa cẩn thận.

Chi tiết chính

• Snap hỗ trợ cửa sổ ngữ cảnh lên đến 384.000 token cho văn bản và hình ảnh, mặc dù công ty đã thử nghiệm nội bộ ở mức một triệu token.
• Mô hình xử lý 100.000 token và trả về một quyết định trong khoảng một giây.
• Trên benchmark Decision LCR, kiểm tra khả năng suy luận qua nhiều tài liệu, Snap đạt điểm 74,0 so với 48,0 của Jev.
• Subquadratic báo cáo rằng Snap vượt trội hơn Jev trên 13 trong số 16 benchmark hướng tới doanh nghiệp, với điểm trung bình là 67,6 so với 61,6.
• Giới hạn 384.000 token của bản xem trước công khai là do năng lực tính toán hiện tại; hỗ trợ một triệu token công khai sẽ đòi hỏi gấp 2,6 lần sức mạnh tính toán.
• Snap chưa được liệt kê trên bảng xếp hạng Decision Index mới nhất vì phiên bản hiện tại tập trung vào các mô hình trọng số mở và bao gồm các bài kiểm tra riêng tư.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng tác nhân AI, lợi ích chính là giảm độ phức tạp và chi phí. Hiện nay, việc quản lý ngữ cảnh liên quan đến các đường ống phức tạp của sinh xuất tăng cường bằng truy xuất (RAG), tóm tắt và chia nhỏ. Các bước này thường gây ra lỗi bằng cách bỏ sót những chi tiết tinh tế nhưng quan trọng. Bằng cách cho phép các tác nhân chuyển trực tiếp các khối dữ liệu thô lớn sang một mô hình quyết định chuyên biệt, các nhà phát triển có thể đơn giản hóa kiến trúc của họ. Điều này giảm rủi ro mất ngữ cảnh quan trọng trong quá trình tiền xử lý.

Hiệu quả chi phí là một yếu tố quan trọng khác. Các LLM tiên phong tốn kém để chạy cho từng quyết định nhỏ trong vòng lặp thực thi của tác nhân. Việc chuyển giao các lựa chọn thường xuyên, cấp thấp này sang một mô hình rẻ hơn và nhanh hơn như Snap có thể giảm đáng kể chi phí vận hành. Nếu Snap có thể duy trì độ chính xác cao khi xử lý các ngữ cảnh lớn, nó cho phép các tác nhân hoạt động tự chủ hơn trên các tập dữ liệu lớn hơn mà không chạm tới giới hạn token hoặc ngân sách.

Tuy nhiên, các tuyên bố phần lớn dựa trên các benchmark nội bộ. Mặc dù Subquadratic đã phát hành mã cho các đánh giá ngữ cảnh dài được điều chỉnh của mình, việc xác minh độc lập vẫn còn chờ đợi. Các nhà phát triển nên xem xét các lợi thế về hiệu suất là hứa hẹn nhưng chưa được chứng minh trong các môi trường bên thứ ba cho đến khi có thêm dữ liệu bên ngoài.

Bạn có thể làm gì

• Đánh giá xem quy trình làm việc tác nhân hiện tại của bạn có liên quan đến việc cắt ngắn ngữ cảnh thường xuyên hoặc logic chia nhỏ phức tạp có thể được đơn giản hóa bởi một cửa sổ lớn hơn hay không.
• Thử nghiệm bản xem trước công khai của Snap trên các nhiệm vụ cụ thể như điều hướng cơ sở mã hoặc phân loại đa tài liệu để so sánh độ trễ và độ chính xác với stack hiện tại của bạn.
• Tính toán sự chênh lệch chi phí giữa việc sử dụng LLM tiên phong cho các bước quyết định so với việc trả $0,05 cho mỗi triệu token đầu vào cho Snap.
• Xem xét mã đánh giá đã phát hành để hiểu cách Subquadratic đo lường khả năng giữ lại ngữ cảnh dài và quyết định xem các chỉ số đó có phù hợp với trường hợp sử dụng của bạn hay không.
• Theo dõi các bản cập nhật sắp tới trên bảng xếp hạng Decision Index để xem liệu Snap có xuất hiện trong các bảng xếp hạng độc lập trong tương lai hay không.
• Cân nhắc các phương pháp tiếp cận lai nơi Snap xử lý phân tích ngữ cảnh rộng trong khi các mô hình nhỏ hơn, nhanh hơn xử lý các quyết định cục bộ tức thì.