Basal-omni-1.0-ultra mang khả năng ra quyết định từ hình ảnh zero-shot đến Gemma 4

Vào ngày 18 tháng 10 năm 2026, nhà phát triển Remek đã phát hành basal-omni-1.0-ultra, một mô hình mã nguồn mở chuyên biệt được lưu trữ trên Hugging Face. Được xây dựng trên kiến trúc Gemma 4 của Google, hệ thống 31 tỷ tham số này được thiết kế cho các tác vụ phân loại rủi ro cao thay vì chat tạo sinh. Nó giới thiệu khả năng hiểu hình ảnh zero-shot cho dòng sản phẩm basal, cho phép kỹ sư định tuyến tài liệu và truy vấn dựa trên đầu vào trực quan mà không cần huấn luyện thêm về phương tiện truyền thông.

Chuyện gì đã xảy ra

Phiên bản phát hành này đánh dấu mô hình lớn nhất trong loạt basal-omni, tăng quy mô từ nền tảng Bielik 11 tỷ tham số trước đó lên Gemma 4-31B của Google. Khác với các mô hình ngôn ngữ lớn tiêu chuẩn tạo ra phản hồi văn bản dài dòng, basal-omni-1.0-ultra hoạt động như một công cụ ra quyết định "Hệ thống 1" (System 1). Nó đọc một trạng thái được xác định—chẳng hạn như tin nhắn của khách hàng, tài liệu được truy xuất hoặc dấu vết của agent—và xuất ra một quyết định có kiểu dữ liệu rõ ràng. Mô hình hỗ trợ lựa chọn, câu trả lời có/không, điểm số và lựa chọn công cụ, cung cấp xác suất được hiệu chỉnh cho mỗi tùy chọn trong một lần suy luận đơn lẻ (single forward pass).

Một bước tiến đáng kể trong phiên bản này là việc tích hợp xử lý hình ảnh. Bằng cách tận dụng bộ mã hóa hình ảnh gốc của Gemma 4, mô hình có thể phân tích hình ảnh cùng với trạng thái văn bản theo cách zero-shot. Điều này có nghĩa là nó không được huấn luyện tường minh trên các cặp dữ liệu hình ảnh-quyết định, nhưng vẫn có thể diễn giải dữ liệu trực quan như hóa đơn hoặc biểu mẫu. Tuy nhiên, mô hình không hỗ trợ đầu vào âm thanh, vì nền tảng 31B cơ sở thiếu bộ mã hóa âm thanh. Phiên bản phát hành được dán nhãn là thử nghiệm, khuyến khích các nhà phát triển kiểm chứng hiệu suất trên tập dữ liệu cụ thể của họ trước khi triển khai đầy đủ.

Quá trình huấn luyện bao gồm việc tinh chỉnh (fine-tuning) nền tảng Gemma 4 bằng LoRA trên khoảng 640.000 quyết định có kiểu dữ liệu rõ ràng bằng tiếng Ba Lan và tiếng Anh. Các quyết định này bao phủ nhiều kịch bản khác nhau bao gồm phân tích hợp đồng, kiểm tra quy tắc và lựa chọn công cụ cho agent. Mô hình sử dụng các mục tiêu mềm (soft targets) được chưng cất (distillated) từ mô hình basal-1.5 trước đó để cải thiện độ chính xác. Quá trình huấn luyện dừng lại sau 10.000 bước khi các chỉ số phát triển đạt mức bão hòa, và trọng số được hợp nhất và làm tròn sang độ chính xác bf16 để suy luận hiệu quả.

Cách thức hoạt động

Cơ chế cốt lõi của basal-omni-1.0-ultra khác biệt căn bản so với AI tạo sinh. Thay vì dự đoán từ tiếp theo trong một chuỗi, mô hình dự đoán token tiếp theo từ một tập hợp mã tùy chọn bị ràng buộc (A–Z và các tổ hợp hai ký tự). Khi một yêu cầu gửi đến, máy chủ điền sẵn phản hồi của trợ lý với một cấu trúc JSON cụ thể. Sau đó, mô hình thực hiện một lần suy luận đơn lẻ, tính toán xác suất softmax chỉ cho các token câu trả lời được phép. Cách tiếp cận này đảm bảo đầu ra không bao giờ nằm ngoài các tùy chọn được cung cấp và đưa ra thước đo trực tiếp về độ tin cậy.

Đối với đầu vào hình ảnh, hệ thống chấp nhận hình ảnh được mã hóa base64 hoặc URL dữ liệu trong payload của yêu cầu. Bộ mã hóa hình ảnh Gemma 4 xử lý các hình ảnh trực quan này thành các token, sau đó chúng được coi là một phần của bối cảnh trạng thái. Mặc dù bản thân bộ mã hóa không thay đổi so với mô hình cơ sở, nhưng phần đầu ra quyết định (decision head) học cách diễn giải các token trực quan này thông qua quá trình huấn luyện dựa trên văn bản. Máy chủ áp dụng hiệu chỉnh nhiệt độ (temperature calibration) từ một tệp JSON được cung cấp để điều chỉnh ngưỡng độ tin cậy, cho phép người dùng tự động hóa các quyết định chỉ khi sự chắc chắn của mô hình vượt quá tỷ lệ lỗi định trước, chẳng hạn như 1% hoặc 5%.

Chi tiết chính

• Kiến trúc mô hình: Dựa trên Google Gemma 4-31B với từ vựng 262k; sử dụng tinh chỉnh LoRA được hợp nhất vào trọng số bf16.
• Khả năng đầu vào: Hỗ trợ tối đa 255 tùy chọn cho mỗi câu hỏi và trạng thái lên tới 10.000 token trên GPU 80 GB.
• Hỗ trợ phương tiện: Xử lý hình ảnh qua bộ mã hóa của Gemma 4 ở chế độ zero-shot; từ chối rõ ràng đầu vào âm thanh với lỗi HTTP 422.
• Chỉ số hiệu suất: Đạt điểm macro 0.879 trên benchmark Werdykt v1, vượt trội hơn biến thể max 12B tới 5,6 điểm.
• Tốc độ suy luận: Chạy với độ trễ p50 80 ms cho mỗi câu hỏi trên GPU H200 ở chế độ eager, hỗ trợ khoảng 8,6 quyết định mỗi giây dưới tải.
• Hiệu chỉnh: Bao gồm các ngưỡng độ tin cậy được chứng nhận cho tỷ lệ lỗi 1% và 5%, cho phép tự động hóa an toàn bằng cách chuyển các mục có độ tin cậy thấp cho con người xử lý.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng lớp phân loại, mô hình này cung cấp một giải pháp thay thế tất định (deterministic) cho việc tạo sinh văn bản xác suất. Các LLM truyền thống thường bị ảo giác hoặc lệch khỏi các yêu cầu định dạng nghiêm ngặt, đòi hỏi các pipeline xử lý hậu kỳ phức tạp để trích xuất dữ liệu có cấu trúc. Basal-omni-1.0-ultra loại bỏ chi phí phụ này bằng cách ràng buộc đầu ra vào các kiểu dữ liệu định trước. Độ tin cậy này rất quan trọng đối với các ứng dụng như định tuyến hỗ trợ khách hàng, kiểm tra tuân thủ hoặc xử lý tài liệu tài chính, nơi việc phân loại sai có thể gây ra những hậu quả vận hành nghiêm trọng.

Việc tích hợp khả năng hiểu hình ảnh zero-shot mở rộng tính hữu ích của mô hình mà không phải chịu chi phí của các tập dữ liệu đa phương tiện khổng lồ. Nhà phát triển giờ đây có thể xây dựng các hệ thống đọc hóa đơn quét, xác định phương thức thanh toán từ ảnh chụp biên lai hoặc phân loại biểu mẫu viết tay bằng cùng một endpoint API được sử dụng cho văn bản. Mặc dù độ chính xác trên các bức ảnh thực tế khó khăn kém hơn so với phân tích dựa trên văn bản, nhưng hiệu suất trên các tài liệu được render (tạo ra từ file điện tử) là cạnh tranh. Điều này cho phép các nhóm thống nhất logic quyết định giữa văn bản và thị giác vào một dịch vụ duy nhất, dễ quản lý.

Bạn có thể làm gì

• Cài đặt mô hình trong một môi trường Python mới sử dụng uv và PyTorch 2.11.0 với hỗ trợ CUDA 12.8.
• Khởi động máy chủ với cờ --media on để kích hoạt khả năng xử lý hình ảnh cho các yêu cầu của bạn.
• Kiểm thử mô hình với hình ảnh tài liệu của riêng bạn bằng các ví dụ curl được cung cấp để thiết lập đường cơ sở độ chính xác so với quy trình làm việc hiện tại.
• Xem xét tệp CALIBRATION.json để đặt các ngưỡng độ tin cậy phù hợp với mức dung sai lỗi cụ thể của bạn.
• Sử dụng cờ --orders 2 nếu độ nhạy cảm với thứ tự tùy chọn là mối lo ngại, chấp nhận đánh đổi chi phí tính toán gấp đôi.
• Xác thực mô hình trên một tập dữ liệu thực tế giữ lại (held-out set) trước khi tự động hóa bất kỳ quyết định nào có rủi ro cao.