Tessera-27B-B-CJK-RL sử dụng tư duy nén cho các agent lập trình hiệu quả

ZelligeAI đã phát hành Tessera-27B-B-CJK-RL, một mô hình agent lập trình mở (open-weight) chuyên biệt được xây dựng trên kiến trúc Qwen3.8-27B. Được công bố vào ngày 6 tháng 11 năm 2026, bản beta này giới thiệu một cơ chế suy luận nội bộ độc đáo, nén quá trình tư duy bằng cách kết hợp tiếng Anh, ký tự Trung Quốc và các biểu tượng. Mô hình hướng tới việc duy trì hiệu suất cao trong các bài toán thi đấu toán học và lập trình, đồng thời giảm đáng kể số lượng token được tạo ra trong mỗi lượt của agent.

Điều gì đã xảy ra

Mô hình mới là sự phát triển từ phiên bản Tessera-27B-B-CJK trước đó. Nó trải qua tám lần cập nhật học tăng cường bổ sung, tập trung cụ thể vào các vấn đề toán học và mã hóa. Quá trình huấn luyện này tạo ra một mô hình giải quyết được nhiều bài toán thi đấu kiểu mới hơn so với người tiền nhiệm. Quan trọng nhất, nó vẫn giữ được hầu hết các lợi ích về hiệu suất liên quan đến dòng Tessera gốc, vốn được thiết kế để suy nghĩ ít hơn trong mỗi lượt so với các mô hình cơ sở tiêu chuẩn.

Bản phát hành bao gồm nhiều tùy chọn kho lưu trữ dành cho nhà phát triển. Sản phẩm chính là bộ trọng số đã hợp nhất ở định dạng bf16 với tổng dung lượng 55,6 GB. Đối với những ai ưa chuộng phương pháp tinh chỉnh tham số hiệu quả (parameter-efficient fine-tuning), có sẵn adapter PEFT dung lượng 1,09 GB. Nhóm cũng cung cấp các định dạng GGUF với năm bản sao lượng tử hóa theo layout Unsloth và một checkpoint NVFP4, mặc dù các định dạng sau chưa được đánh giá đầy đủ. Tất cả các tệp đều được cấp phép theo Apache-2.0, tương thích với mô hình cơ sở.

Cách thức hoạt động

Đổi mới cốt lõi nằm trong độc thoại nội bộ của mô hình, hay giai đoạn "think" (suy nghĩ). Thay vì tạo ra các bước suy luận dài dòng bằng tiếng Anh, Tessera-27B-B-CJK-RL sử dụng một hệ thống ký tự viết tắt nén, kết hợp ký tự Trung Quốc, từ vựng tiếng Anh và các biểu tượng. Phương pháp này cho phép mô hình truyền tải các trạng thái logic phức tạp với số lượng token ít hơn nhiều. Ví dụ, một lượt agent điển hình có thể chỉ sử dụng 45 token để mô tả kết quả kiểm thử và trạng thái linting, trong khi mô hình cơ sở cần tới 158 token cho cùng một trạng thái. Bất chấp sự nén này, câu trả lời cuối cùng và các lệnh gọi công cụ vẫn ở dạng tiếng Anh và mã thuần túy, đảm bảo tính dễ sử dụng cho các nhà phát triển.

Quá trình huấn luyện bắt đầu từ adapter LoRA của Tessera-27B-B-CJK và áp dụng tám vòng học tăng cường trên nền tảng Tinker. Mỗi lần cập nhật lấy mẫu sáu rollout cho các vấn đề toán học và mã hóa cụ thể, tối ưu hóa cho độ chính xác và sự gọn gàng, đồng thời phạt các chuỗi quá dài so với mô hình cơ sở. Lợi thế của mỗi rollout được phân phối đều trên các token suy nghĩ, ngăn chặn các chuỗi dài ảnh hưởng không cân xứng đến các cập nhật gradient. Các cặp LoRA cuối cùng được hợp nhất vào trọng số bf16 của mô hình cơ sở, với xác minh cho thấy độ lệch tối thiểu so với hiệu suất của adapter chưa hợp nhất.

Chi tiết chính

• Mô hình đạt được 108 lời giải đúng trong 126 nỗ lực đối với các bài toán AIME và HMMT tháng 2 năm 2026, cải thiện so với con số 97 của phiên bản trước.
• Lượng suy nghĩ mỗi lượt agent xấp xỉ 0,67 lần so với mô hình cơ sở, duy trì lợi ích hiệu suất đáng kể.
• Bản phát hành bao gồm trọng số bf16 đã hợp nhất (55,6 GB), adapter LoRA (1,09 GB) và các biến thể GGUF và NVFP4 chưa được kiểm thử.
• Huấn luyện sử dụng tám lần cập nhật RL với tốc độ học 2e-5, chấm điểm các rollout dựa trên độ chính xác và hiệu quả độ dài.
• Các cài đặt suy luận khuyến nghị bao gồm reasoning_effort="xhigh", nhiệt độ 1.0, top-p 0.95 và top-k 20.
• Mô hình được xây dựng trên Qwen/Qwen3.8-27B và sử dụng tokenizer và template chat mặc định.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng agent lập trình tự động, hiệu quả token tác động trực tiếp đến độ trễ và chi phí. Bằng cách nén suy luận nội bộ thành một hệ thống ký tự viết tắt đa ngôn ngữ dày đặc, Tessera-27B-B-CJK-RL giảm tải tính toán cho mỗi bước ra quyết định mà không làm giảm chất lượng đầu ra. Điều này cho phép các agent hoạt động trong các cửa sổ ngữ cảnh chặt chẽ hơn, chẳng hạn như giới hạn 64K token đã được kiểm thử, nơi mô hình mới thất bại do cắt ngắn (truncation) ít hơn đáng kể so với người tiền nhiệm. Lợi ích hiệu suất này rất quan trọng để mở rộng quy trình làm việc của agent đòi hỏi sự tương tác qua lại nhiều lần với các công cụ và xác minh.

Hơn nữa, hiệu suất cải thiện trên các benchmark toán học thi đấu gợi ý khả năng suy luận chung tốt hơn. Mặc dù mô hình được chuyên biệt hóa cho lập trình, khả năng giải quyết các vấn đề toán học phức tạp thường tương quan với khả năng suy luận logic mạnh mẽ hơn trong các nhiệm vụ kỹ thuật phần mềm. Các nhà phát triển có thể tận dụng khả năng suy luận nâng cao này cho việc gỡ lỗi, thiết kế thuật toán và lập kế hoạch kiến trúc hệ thống phức tạp, miễn là họ cấu hình đúng các tham số suy luận để kích hoạt chế độ suy nghĩ nén.

Bạn có thể làm gì

• Triển khai trọng số bf16 đã hợp nhất bằng vLLM 0.31 hoặc transformers 5.17 để suy luận cục bộ.
• Cấu hình các template chat với reasoning_effort="xhigh" để kích hoạt quy trình suy nghĩ đã được tối ưu hóa.
• Sử dụng nhiệt độ 1.0, top-p 0.95 và top-k 20 để khớp với các điều kiện đánh giá.
• Loại bỏ các token "think" khỏi lịch sử trong các cuộc hội thoại nhiều lượt để tiết kiệm không gian ngữ cảnh.
• Thử nghiệm adapter LoRA nếu bạn ưu tiên phương pháp nạp tham số hiệu quả thay vì hợp nhất trọng số.
• Tránh phụ thuộc vào các checkpoint GGUF hoặc NVFP4 chưa được kiểm thử cho môi trường sản xuất cho đến khi có thêm xác nhận.