Recursive ra mắt Flint, mô hình lập trình chạy trên laptop do AI xây dựng

Recursive, một startup về AI do Richard Socher - cựu nhà khoa học trưởng của Salesforce - dẫn dắt, vừa phát hành mô hình công khai đầu tiên mang tên Flint. Ra mắt vào thứ Tư, trợ lý lập trình miễn phí này được thiết kế để chạy hoàn toàn trên phần cứng cục bộ, chẳng hạn như một chiếc laptop tiêu chuẩn, thay vì phụ thuộc vào cơ sở hạ tầng đám mây. Việc phát hành đánh dấu một bước tiến quan trọng trong sứ mệnh của công ty nhằm phát triển các hệ thống AI có khả năng tự cải thiện thông qua nghiên cứu tự động.

Chuyện gì đã xảy ra

Flint là một mô hình lập trình với trọng số mở (open-weight), có sẵn để tải xuống trên Hugging Face theo giấy phép Apache 2.0. Lựa chọn cấp phép này cho phép các nhà phát triển sử dụng, chỉnh sửa và phân phối mô hình một cách tự do. Bằng cách chạy cục bộ, mô hình giúp người dùng giữ kín mã nguồn, làm việc ngoại tuyến và tránh các khoản phí tính theo token thường thấy ở các dịch vụ AI lưu trữ trên đám mây. Recursive đã thoát khỏi trạng thái bí mật (stealth) vào đầu năm nay với sự hậu thuẫn đáng kể, bao gồm khoản tài trợ 650 triệu USD ở mức định giá 4,65 tỷ USD từ các nhà đầu tư như GV, Nvidia và AMD Ventures.

Chính quá trình phát triển cũng được tự động hóa mạnh mẽ. Recursive báo cáo rằng hệ thống nghiên cứu tự động nội bộ của họ, gọi là Eureka Machine, đã hỗ trợ gần như mọi giai đoạn tạo ra Flint. Sự hỗ trợ này cho phép một nhóm nhỏ nhân sự con người xây dựng mô hình từ đầu trong vòng chưa đầy bốn tháng. Công ty định vị Flint như một bài kiểm tra thực tế sớm về khái niệm tự cải thiện đệ quy (recursive self-improvement), nơi các hệ thống AI giúp thiết kế và huấn luyện các mô hình AI tiếp theo có năng lực cao hơn. Trong khi một số chuyên gia trong ngành lo ngại về các hàm ý an toàn của AI tự cải thiện, Recursive khẳng định rằng con người hiện vẫn giám sát Eureka Machine và có thể can thiệp nếu cần thiết.

Cách thức hoạt động

Flint sử dụng kiến trúc hỗn hợp chuyên gia (mixture-of-experts), một thiết kế chỉ kích hoạt một tập hợp con các tham số của mô hình cho bất kỳ tác vụ cụ thể nào. Mặc dù Flint chứa tổng cộng 40 tỷ tham số, nó chỉ sử dụng 2,5 tỷ tham số tại một thời điểm. Tính thưa thớt (sparsity) này khiến mô hình nhẹ và nhanh hơn đáng kể so với các mô hình đặc (dense models) có cùng tổng kích thước. Để so sánh, mô hình Muse Spark Open mới ra mắt của Meta sử dụng 816 tỷ tham số và yêu cầu ít nhất một terabyte bộ nhớ, trong khi Flint được tối ưu hóa cho các laptop tiêu dùng thông thường.

Eureka Machine đã đóng góp các tối ưu kỹ thuật cụ thể để đạt được hiệu quả này. Theo Recursive, hệ thống đã giúp thiết kế hình dạng mô hình thưa hơn và triển khai các kỹ thuật huấn luyện bit thấp (low-bit training), giảm kích thước mô hình đi 71% với tổn thất chất lượng tối thiểu. Nó cũng phát triển các kernel tùy chỉnh, tức là các routine phần mềm chuyên biệt giúp tăng tốc các phép tính toán học nền tảng. Những đổi mới này cho phép Flint tạo văn bản nhanh chóng trên phần cứng tiêu dùng mà không hy sinh quá nhiều hiệu suất.

Chi tiết chính

• Flint tạo ra khoảng 131 token mỗi giây trên MacBook Pro trang bị chip Apple M4 Pro, nhanh gấp đôi so với các mô hình tương đương như Gemma 4 của Google.
• Trên phần cứng RTX Spark của Nvidia, mô hình đạt tốc độ vượt quá 150 token mỗi giây.
• Trong các bài kiểm tra SWE-Bench Verified, vốn đo lường khả năng sửa lỗi, Flint vượt trội hơn các mô hình khác có dưới 50 tỷ tham số.
• Mô hình được xây dựng trong vòng chưa đầy bốn tháng với sự hỗ trợ đáng kể từ hệ thống Eureka Machine tự động của Recursive.
• Flint miễn phí để tải xuống và sử dụng theo giấy phép mã nguồn mở Apache 2.0.
• Thử nghiệm độc lập ban đầu bởi Will Knight của Wired cho thấy mô hình đã hoàn thành thành công các tác vụ lập trình trên một máy Mac có 48GB bộ nhớ.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, xu hướng chuyển sang các mô hình cục bộ hiệu suất cao giúp giảm sự phụ thuộc vào các nhà cung cấp API bên thứ ba. Việc chạy tạo mã cục bộ loại bỏ các vấn đề độ trễ liên quan đến yêu cầu mạng và đảm bảo rằng các mã nguồn độc quyền không bao giờ rời khỏi máy của nhà phát triển. Điều này đặc biệt có giá trị đối với các đội ngũ làm việc trong các ngành nghề chịu sự quản lý chặt chẽ hoặc xử lý tài sản trí tuệ nhạy cảm, những người không thể sử dụng các dịch vụ AI công khai trên đám mây.

Hơn nữa, Flint minh họa tác động ngày càng tăng của nghiên cứu hỗ trợ bởi AI. Nếu các hệ thống tự động như Eureka Machine thực sự có thể nén chu kỳ phát triển từ nhiều năm xuống còn vài tháng, nhịp độ đổi mới trong lĩnh vực AI mã nguồn mở có thể tăng lên đáng kể. Tuy nhiên, các nhà phát triển nên lưu ý rằng các mô hình cục bộ vẫn đòi hỏi hướng dẫn rõ ràng hơn so với các trợ lý đám mây lớn. Recursive khuyên nên chia nhỏ các tác vụ phức tạp thành các bước nhỏ hơn để đạt kết quả tốt nhất, cho thấy rằng mặc dù công nghệ rất mạnh mẽ, nó chưa phải là một sự thay thế hoàn toàn tự chủ cho phán đoán kỹ thuật cấp cao.

Bạn có thể làm gì

• Tải xuống Flint từ Hugging Face để thử nghiệm hiệu suất trên cấu hình phần cứng cục bộ của bạn.
• Tái cấu trúc các prompt lập trình lớn thành các nhiệm vụ nhỏ, riêng biệt để cải thiện độ chính xác và độ tin cậy của mô hình.
• So sánh tốc độ tạo token của Flint với các mô hình cục bộ hiện tại của bạn bằng cách sử dụng các công cụ benchmarking tiêu chuẩn.
• Xem xét các điều khoản của giấy phép Apache 2.0 để đảm bảo tuân thủ các chính sách sử dụng mã nguồn mở của tổ chức bạn.
• Thử nghiệm các quy trình làm việc ngoại tuyến để xác định những phần nào trong pipeline phát triển của bạn có thể hoạt động mà không cần truy cập internet.
• Theo dõi các bản cập nhật từ Recursive về Eureka Machine để hiểu cách các phiên bản tương lai có thể tự động hóa thêm quá trình tối ưu hóa mô hình.