Ricursive huấn luyện mô hình 65 tỷ tham số với chi phí 32 triệu USD, thiết lập chuẩn mực mới cho mã hóa

Ricursive Intelligence đã phát hành Ripple-65B Preview, một mô hình ngôn ngữ mở trọng số mới được thiết kế để vận hành nền tảng thiết kế chip AI của công ty. Công ty đã huấn luyện mô hình 65 tỷ tham số này từ con số không với chi phí 32 triệu USD, đạt điểm số tốt nhất hiện nay (state-of-the-art) về mã hóa tác nhân trong nhóm các mô hình mở trọng số tại Hoa Kỳ, đồng thời cắt giảm đáng kể chi phí huấn luyện so với các đối thủ lớn hơn.

Điều gì đã xảy ra

Ricursive Intelligence, một phòng thí nghiệm AI toàn diện tập trung vào việc tối ưu hóa đồng thời phần cứng và phần mềm, đã thông báo phát hành công khai Ripple-65B Preview. Biến thể đa năng này được phái sinh từ mô hình độc quyền đang vận hành nội bộ các công cụ thiết kế chip AI của họ. Mô hình được tiền huấn luyện trên 12 nghìn tỷ token và hỗ trợ độ dài ngữ cảnh lên tới một triệu token. Ngay khi ra mắt, nó đã thiết lập một chuẩn mực mới cho các mô hình mở trọng số của Hoa Kỳ trong các nhiệm vụ mã hóa tác nhân.

Các chỉ số hiệu suất đặt Ripple-65B vượt lên trên nhiều mô hình có kích thước lớn hơn đáng kể. Nó đạt điểm 80.52 trên TerminalBench 2.1, vượt qua Reflection Beam 501B (80.1), Meta Muse Spark Open 816B (76.4), Thinking Machines Inkling 975B (63.8) và NVIDIA Nemotron 3 Ultra 550B (56.4). Mặc dù có ít tham số hơn so với các đối thủ cạnh tranh, Ripple-65B vẫn cung cấp hiệu suất suy luận mạnh mẽ với tốc độ tạo token thấp nhờ kiến trúc dày đặc (dense architecture). Mô hình hiện có sẵn trên Hugging Face, Together AI, GMI Cloud và OpenRouter, với sự hỗ trợ từ Fireworks dự kiến sẽ ra mắt ngay sau thông báo.

Có lẽ điều đáng chú ý nhất đối với ngành là hiệu quả chi phí. Trong khi ước tính chi phí huấn luyện các mô hình tiên phong (frontier model) dao động từ 100 triệu đến hơn 1 tỷ USD, Ricursive đã phát triển và huấn luyện Ripple-65B Preview chỉ với 32 triệu USD. Con số này đại diện cho tổng chi phí nghiên cứu và phát triển, bao gồm phát triển thang đo mô hình (model laddering), trộn dữ liệu, đánh giá, gỡ lỗi, tạo dữ liệu tổng hợp và các lần chạy huấn luyện cuối cùng. Công ty tuyên bố rằng đây là khoảng một phần mười chi phí của mô hình mở trọng số tốt nhất hiện nay trước đó dành cho mã hóa tác nhân.

Cách thức hoạt động

Những cải thiện về hiệu quả bắt nguồn từ sự kết hợp giữa các lựa chọn kiến trúc và chiến lược huấn luyện kỷ luật được gọi là "thang đo mô hình" (model laddering). Thay vì áp dụng kiến trúc Mixture-of-Experts (MoE) phổ biến trong các mô hình lớn gần đây, Ricursive đã chọn một Transformer dày đặc hiện đại hóa. Quyết định này giảm thiểu độ phức tạp của cơ sở hạ tầng và cho phép họ duy trì Mức sử dụng FLOPs của mô hình (MFU) ổn định ở mức 40% trong suốt quá trình huấn luyện mà không cần kernel tùy chỉnh hay lượng tử hóa. Kiến trúc này có tỷ lệ khung hình "mỏng và sâu", với chiều ẩn hẹp là 5120 và tổng cộng 80 lớp. Để tăng cường khả năng suy luận, họ đã cung cấp dư thừa các đầu attention, tăng tỷ lệ giữa Attention Cửa sổ Trượt (SWA) và các lớp toàn cục, đồng thời giảm kích thước cửa sổ SWA. Các sửa đổi kỹ thuật bổ sung bao gồm clipping kích hoạt FFN, attention có cổng (gated attention), NoPE toàn cục (No Positional Embeddings - Không nhúng vị trí) và phần dư giá trị (value residuals).

Hiệu quả huấn luyện còn được nâng cao hơn nữa thông qua cách tiếp cận học tăng cường (RL) leo dốc nhanh. Thay vì dựa vào việc mở rộng RL thô bạo hoặc mua dữ liệu hậu huấn luyện, đội ngũ đã phát triển các đường ống dữ liệu tổng hợp nội bộ với quy trình lọc chất lượng nghiêm ngặt. Họ sử dụng công thức RL hỗn hợp bao gồm lấy mẫu quan trọng bị cắt ngắn (truncated importance sampling), căn giữa điểm số và hình phạt tuyến tính theo độ dài trong các môi trường tổng hợp chất lượng cao, tầm nhìn xa. Khi mô hình cải thiện, các nhiệm vụ khó khăn hơn liên tục được đưa vào. Phương pháp này cho phép Ripple-65B đạt điểm TerminalBench hàng đầu với chỉ 1,4 triệu lượt rollout, ít hơn khoảng 70 lần so với mô hình tốt nhất hiện nay trước đó, Reflection Beam.

Công thức tiền huấn luyện được tinh chỉnh thông qua các thử nghiệm quy mô nhỏ lặp đi lặp lại gọi là thang đo mô hình. Bắt đầu từ thang đo mô hình Olmo 3, đội ngũ đã kiểm tra nhiều can thiệp khác nhau, chẳng hạn như chuyển từ post-norm sang pre-plus-post norm, triển khai attention có cổng sigmoid và thêm phần dư giá trị. Những thay đổi tích lũy này đã cải thiện hiệu quả tính toán trên mã lên tới 16 lần ở quy mô 4 tỷ tham số so với thang đo Olmo 3 cơ bản. Phiên bản cuối cùng sử dụng một tập dữ liệu tiền huấn luyện tùy chỉnh với mã được lấy mẫu lại (upsampled) đáng kể, đảm bảo mô hình chuyên biệt hóa hiệu quả trong các nhiệm vụ mã hóa trước khi mở rộng quy mô.

Chi tiết chính

• Kích thước mô hình: 65 tỷ tham số, kiến trúc dày đặc.
• Chi phí huấn luyện: Tổng chi phí R&D là 32 triệu USD, bao gồm tạo dữ liệu và cơ sở hạ tầng.
• Điểm chuẩn: 80.52 trên TerminalBench 2.1, một kỷ lục mới về mô hình mở trọng số tốt nhất hiện nay tại Hoa Kỳ.
• Độ dài ngữ cảnh: Hỗ trợ lên tới 1 triệu token.
• Dữ liệu huấn luyện: Tiền huấn luyện trên 12 nghìn tỷ token với trọng tâm là mã được lấy mẫu lại.
• Hiệu quả: Đạt hiệu suất SOTA với số lượt RL rollout ít hơn 70 lần so với đối thủ dẫn đầu trước đó.

Tại sao điều này quan trọng

Đối với các nhóm kỹ sư và nhà sáng lập kỹ thuật, Ripple-65B chứng minh rằng số lượng tham số khổng lồ không hoàn toàn cần thiết cho mã hóa tác nhân hiệu suất cao. Thành công của kiến trúc dày đặc, mỏng và sâu thách thức xu hướng phổ biến hướng tới các mô hình MoE thưa, gợi ý rằng việc điều chỉnh kiến trúc cẩn thận có thể mang lại độ trễ và hiệu quả tốt hơn trên các phần cứng cụ thể. Điều này đặc biệt liên quan đến các nhà phát triển muốn chạy các mô hình có khả năng trên thiết bị cục bộ hoặc phần cứng biên, chẳng hạn như NVIDIA DGX Spark, nơi băng thông bộ nhớ thường là nút thắt cổ chai so với sức mạnh tính toán FLOPs thô.

Việc phân tích chi phí cũng cung cấp một chuẩn mực thực tế về những gì có thể đạt được với kỹ thuật kỷ luật. Bằng cách tránh mua dữ liệu đắt đỏ và tập trung vào chất lượng dữ liệu tổng hợp cùng các công thức RL hiệu quả, Ricursive đã đạt được hiệu suất cấp tiên phong với một phần nhỏ chi phí dự kiến của ngành. Điều này báo hiệu một sự chuyển dịch nơi hiệu quả thuật toán và chất lượng dữ liệu có thể vượt trội hơn việc mở rộng tính toán thô bạo, cung cấp một con đường bền vững hơn cho các tổ chức xây dựng các công cụ AI chuyên biệt mà không có ngân sách hàng trăm triệu đô la.

Bạn có thể làm gì

• Tải xuống Ripple-65B Preview từ Hugging Face để kiểm tra khả năng mã hóa tác nhân của nó trong môi trường cục bộ của bạn.
• Đánh giá mô hình trên các chuẩn mã hóa của riêng bạn để so sánh độ trễ và độ chính xác với các mô hình MoE lớn hơn mà bạn hiện đang sử dụng.
• Xem xét các chi tiết kiến trúc, chẳng hạn như tỷ lệ mỏng-sâu và việc triển khai NoPE toàn cục, để tham khảo cho các lựa chọn thiết kế mô hình của riêng bạn.
• Thử nghiệm mô hình trên phần cứng có băng thông bộ nhớ thấp hơn, chẳng hạn như máy trạm cục bộ, để đánh giá khả năng triển khai cho các ứng dụng biên.
• Nghiên cứu công thức RL được báo cáo, cụ thể là việc sử dụng dữ liệu tổng hợp và lấy mẫu quan trọng bị cắt ngắn, để tối ưu hóa các đường ống hậu huấn luyện của riêng bạn.
• Theo dõi khả năng sẵn có sắp tới trên Fireworks để tích hợp mô hình vào các quy trình suy luận dựa trên đám mây nếu việc lưu trữ cục bộ không khả thi.