Nenya-2.5B mang đến cơ chế attention tuyến tính hiệu quả cho phát triển AI cục bộ

ArsalanZ đã phát hành Nenya-2.5B-A0.5B-Base, một mô hình ngôn ngữ open-weight mới được thiết kế để chạy hiệu quả trên máy cục bộ. Được công bố trên Hugging Face vào tháng 11 năm 2026, mô hình này nhắm đến các nhà phát triển cần trợ lý AI mạnh mẽ có thể chạy trực tiếp trên phần cứng tiêu dùng mà không phụ thuộc vào API đám mây. Bản phát hành bao gồm dữ liệu benchmark chi tiết so sánh hiệu suất của nó với các mô hình nhỏ đã khẳng định vị thế như OLMo-2 và Qwen3.5.

Mô hình tạo sự khác biệt bằng cách tận dụng các lựa chọn kiến trúc cụ thể nhằm ưu tiên tốc độ trên GPU hiện đại, đặc biệt là Apple Silicon và card NVIDIA. Bằng cách sử dụng Gated Delta Networks (GDN-2) và các kernel Triton được tối ưu hóa, Nenya-2.5B đạt được thông lượng token cao trong khi vẫn duy trì dung lượng bộ nhớ tương đối nhỏ. Điều này biến nó thành một lựa chọn hấp dẫn cho các kỹ sư xây dựng ứng dụng tập trung vào quyền riêng tư hoặc làm việc trong môi trường kết nối hạn chế.

Chuyện gì đã xảy ra

Sự kiện chính là việc công khai trọng số mô hình Nenya-2.5B-A0.5B-Base cùng các script đánh giá liên quan. File mô hình rất gọn nhẹ, chỉ nặng 3,5 GB, cho phép tải xuống nhanh chóng và dễ dàng vừa khít với bộ nhớ của hầu hết laptop hiện đại. Khi sử dụng lần đầu, hệ thống sẽ tự động tải các trọng số này, giúp đơn giản hóa quy trình thiết lập cho những nhà phát triển muốn thử nghiệm mô hình ngay lập tức.

Các chỉ số hiệu suất làm nổi bật tính hiệu quả của mô hình trên phần cứng cụ thể. Trên chip Apple M4, mô hình chạy trực tiếp trên GPU, đạt tốc độ sinh khoảng 125 token mỗi giây. Mức hiệu suất này cho phép tương tác thời gian thực cho nhiều trường hợp sử dụng, chẳng hạn như hoàn thành mã lệnh hoặc chatbot tương tác, mà không gặp phải độ trễ thường thấy ở các mô hình lớn hơn chạy trên CPU. Ghi chú phát hành nhấn mạnh rằng tốc độ này phụ thuộc vào việc sử dụng cấu hình backend đúng cách.

Tác giả cũng cung cấp kết quả benchmark toàn diện sử dụng lm-evaluation-harness phiên bản 0.4.13. Các đánh giá này được thực hiện trong điều kiện nghiêm ngặt để đảm bảo công bằng, sử dụng trọng số bf16 và cửa sổ ngữ cảnh 4.096 token. Benchmark bao phủ nhiều loại tác vụ, bao gồm kiến thức chung, khả năng suy luận và lập trình. Kết quả đặt Nenya-2.5B vào vị thế là một giải pháp thay thế cạnh tranh cho các mô hình nhỏ khác, mặc dù được huấn luyện trên số lượng token ít hơn đáng kể so với một số đối thủ.

Cách hoạt động

Nenya-2.5B dựa vào các lớp GDN-2, một loại cơ chế attention tuyến tính khác biệt so với attention softmax chuẩn thường thấy trong nhiều mô hình transformer. Attention tuyến tính mở rộng quy mô hiệu quả hơn theo độ dài chuỗi, giảm gánh nặng tính toán trong quá trình suy luận. Tuy nhiên, để hiện thực hóa những cải thiện hiệu suất này, mô hình yêu cầu các tối ưu hóa phần mềm cụ thể. Trên GPU NVIDIA, người dùng phải cài đặt thư viện flash-linear-attention, cụ thể là CUDA extra, để kích hoạt các kernel Triton. Những kernel này cho phép các lớp GDN-2 thực thi hiệu quả trên phần cứng GPU.

Nếu các kernel được tối ưu hóa không được cài đặt, hoặc nếu mô hình chạy trên CPU hoặc qua transformers chuẩn trên Mac mà không cấu hình đúng, nó sẽ quay về sử dụng triển khai recurrence thuần PyTorch. Mặc dù phương án dự phòng này tạo ra kết quả giống hệt nhau, nhưng nó chậm hơn đáng kể, đặc biệt khi xử lý các prompt dài. Sự khác biệt này rất quan trọng đối với các nhà phát triển triển khai mô hình trong môi trường sản xuất nơi độ trễ là yếu tố then chốt. Mô hình hỗ trợ cả độ chính xác bf16 và fp32, tuy nhiên bf16 được khuyến nghị vì nó khớp với các thiết lập huấn luyện và đánh giá.

Về việc lấy mẫu (sampling), mô hình sử dụng các tham số mặc định là temperature 0.9 và top-k 20, nhằm khuyến khích đầu ra đa dạng và sáng tạo. Đối với các tác vụ đòi hỏi câu trả lời xác định, chẳng hạn như toán học, sinh mã lệnh hoặc truy vấn ngắn gọn về sự thật, người dùng có thể đặt temperature về 0. Điều này kích hoạt giải mã tham lam (greedy decoding), chọn token tiếp theo có khả năng cao nhất tại mỗi bước, đảm bảo tính nhất quán và chính xác trong đầu ra có cấu trúc.

Chi tiết chính

• Kích thước mô hình: File trọng số nặng 3,5 GB, giúp dễ dàng phân phối và tải lên các thiết bị tiêu dùng.
• Hiệu suất phần cứng: Đạt ~125 token mỗi giây trên GPU Apple M4 khi được cấu hình đúng cách.
• Dữ liệu huấn luyện: Được huấn luyện trên 0,06 nghìn tỷ token, ít hơn nhiều so với các mô hình cạnh tranh nhưng vẫn mang lại kết quả cạnh tranh.
• Độ chính xác: Được đánh giá và khuyến nghị sử dụng ở độ chính xác bf16, mặc dù fp32 cũng được hỗ trợ.
• Tối ưu hóa: Yêu cầu flash-linear-attention kèm CUDA extras để đạt hiệu suất tối ưu trên GPU NVIDIA; nếu không, nó sẽ sử dụng recurrence PyTorch chậm hơn.
• Cửa sổ ngữ cảnh: Benchmark được thực hiện sử dụng cửa sổ 4.096 token.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, việc phát hành Nenya-2.5B làm nổi bật xu hướng hướng tới các mô hình AI cục bộ hiệu quả hơn. Khả năng chạy một mô hình ngôn ngữ mạnh mẽ trên GPU của laptop mà không cần truy cập internet mở ra những khả năng mới cho các ứng dụng nhạy cảm về quyền riêng tư. Nhà phát triển có thể xây dựng các công cụ xử lý dữ liệu nhạy cảm cục bộ, đảm bảo rằng thông tin người dùng không bao giờ rời khỏi thiết bị. Điều này đặc biệt liên quan đến các ngành như y tế, tài chính và công nghệ pháp lý, nơi chủ quyền dữ liệu là yêu cầu thiết yếu.

Hơn nữa, hiệu suất của mô hình so với kích thước dữ liệu huấn luyện cho thấy rằng các đổi mới kiến trúc như GDN-2 có thể bù đắp cho các tập dữ liệu nhỏ hơn. Trong khi các mô hình như SmolLM3 và Gemma 4 được huấn luyện trên hơn 10 nghìn tỷ token, Nenya-2.5B đạt điểm số tương đương trong nhiều benchmark chỉ với 0,06 nghìn tỷ token. Tính hiệu quả này có thể hạ thấp rào cản gia nhập cho các đội ngũ muốn tinh chỉnh hoặc tùy biến mô hình, vì họ có thể không cần các tập dữ liệu khổng lồ để đạt mức hiệu suất hữu ích.

Việc benchmark chi tiết cũng cung cấp cái nhìn minh bạch về vị trí của các mô hình nhỏ hiện nay. Bằng cách so sánh với các baseline đã thiết lập như OLMo-2 và Qwen3.5, nhà phát triển có thể đưa ra quyết định sáng suốt về mô hình nào phù hợp với nhu cầu cụ thể của họ. Ví dụ, nếu sinh mã lệnh là ưu tiên, các chỉ số bits-per-byte trên dữ liệu GitHub cung cấp một so sánh rõ ràng. Sự minh bạch này giúp cộng đồng tránh xa những lời thổi phồng và tập trung vào các khả năng thực tế, đo lường được.

Bạn có thể làm gì

• Tải file trọng số 3,5 GB từ Hugging Face để thử nghiệm mô hình trên máy cục bộ của bạn.
• Cài đặt flash-linear-attention kèm CUDA extra nếu bạn đang sử dụng GPU NVIDIA để đảm bảo tốc độ tối ưu.
• Sử dụng temperature 0 cho các tác vụ đòi hỏi đầu ra chính xác, chẳng hạn như sinh mã lệnh hoặc giải bài toán.
• Chạy các script đánh giá được cung cấp để benchmark mô hình trên phần cứng và trường hợp sử dụng cụ thể của bạn.
• Cân nhắc sử dụng độ chính xác bf16 cho suy luận để khớp với điều kiện huấn luyện của mô hình và tối đa hóa hiệu suất.
• Khám phá việc tinh chỉnh mô hình trên dữ liệu chuyên sâu của riêng bạn, tận dụng kiến trúc hiệu quả của nó để lặp nhanh hơn.