Seldon sử dụng đồ thị nhân tạo tổng hợp để huấn luyện các mô hình nền tảng cho dữ liệu dạng bảng

Neuralk-AI đã phát hành Seldon, một mô hình nền tảng mới cho dữ liệu dạng bảng, được lưu trữ trên Hugging Face. Được công bố vào đầu tháng 11 năm 2026, kiến trúc này hướng tới các kỹ sư học máy cần hiệu suất ổn định trên dữ liệu có cấu trúc mà không phụ thuộc vào các tập dữ liệu công khai khổng lồ cho giai đoạn tiền huấn luyện.

Điều gì đã xảy ra

Chi tiết bản phát hành mô tả một mô hình khác biệt so với các phương pháp tiền huấn luyện tiêu chuẩn bằng cách hoàn toàn tránh sử dụng dữ liệu thực tế. Thay vì thu thập từ các kho lưu trữ công khai hoặc sử dụng bảng biểu độc quyền của doanh nghiệp, các nhà phát triển đã huấn luyện Seldon chỉ dựa trên các tập dữ liệu được tạo ra tổng hợp. Cách tiếp cận này nhằm giải quyết vấn đề khan hiếm và lo ngại về quyền riêng tư thường gặp khi thu thập dữ liệu dạng bảng quy mô lớn cho các mô hình nền tảng.

Seldon tuân theo các mẫu kiến trúc tương tự như Kumo Tabular và TabFM. Nó nén toàn bộ bảng thành các biểu diễn cấp độ hàng (row-level representations) và sau đó áp dụng cơ chế học trong ngữ cảnh (in-context learning). Mô hình coi các hàng ngữ cảnh có nhãn như tập dữ liệu huấn luyện trong quá trình suy luận, cho phép nó thích ứng động với các tác vụ mới. Thiết kế này giúp mô hình khái quát hóa qua nhiều bài toán dữ liệu dạng bảng khác nhau bằng cách học cấu trúc cơ bản của các mối quan hệ dữ liệu thay vì ghi nhớ thống kê cụ thể của từng tập dữ liệu.

Cơ chế hoạt động

Kiến trúc bắt đầu với một bộ tokenizer chuyên dụng. Mỗi ô trong bảng được chuyển đổi thành một token bằng cách sử dụng phép chiếu đặc trưng Fourier cho các giá trị số, kết hợp với mặt nạ phân loại (categorical mask) và chỉ báo giá trị thiếu. Các đặc trưng được nhóm lại trước bước chiếu này để duy trì tính mạch lạc về cấu trúc. Các token này đi qua các transformer xen kẽ giữa cột và hàng. Cơ chế chú ý cột sử dụng các điểm cảm ứng (inducing points) để xử lý thông tin xuyên suốt các hàng một cách hiệu quả. Đầu ra được nén thành các token đọc CLS, tạo ra một vector dày đặc cho mỗi hàng.

Sau khi các hàng được nhúng (embedded), mô hình bước vào giai đoạn học trong ngữ cảnh. Một stack transformer xử lý các biểu diễn hàng đã được nén này. Các hàng ngữ cảnh có nhãn cung cấp tín hiệu cần thiết, và mô hình dự đoán kết quả cho các hàng truy vấn dựa trên ngữ cảnh đó. Cuối cùng, một đầu MLP (multi-layer perceptron) ánh xạ biểu diễn của mỗi hàng truy vấn sang xác suất lớp. Tổng số lượng tham số là 213,46 triệu, được chia giữa giai đoạn nhúng và stack học trong ngữ cảnh.

Chiến lược tiền huấn luyện dựa trên một prior do Neuralk phát triển, dựa trên các mô hình nhân quả cấu trúc. Mỗi tác vụ tổng hợp xuất phát từ một đồ thị nhân quả được lấy mẫu ngẫu nhiên. Các nút trong những đồ thị này được liên kết bởi các quan hệ hàm số và nhiễu được vẽ ngẫu nhiên. Mô hình đọc trực tiếp các đặc trưng và mục tiêu từ những đồ thị này. Phương pháp này tạo ra các kịch bản đa dạng bằng cách thay đổi cấu trúc đồ thị, phụ thuộc hàm, loại đặc trưng, phân phối, mức độ nhiễu, mẫu giá trị thiếu và cân bằng lớp.

Chi tiết chính

• Tổng tham số: 213,46 triệu, trong đó 9,93 triệu nằm trong module nhúng ô/hàng và 203,53 triệu nằm trong stack học trong ngữ cảnh.
• Dữ liệu tiền huấn luyện: Hoàn toàn là các tập dữ liệu tổng hợp được tạo từ các mô hình nhân quả cấu trúc; không sử dụng dữ liệu thực tế.
• Hình dạng nhúng: 256 kênh, 6 cặp layer, 256 điểm cảm ứng và 4 token đọc.
• Cấu hình stack ICL: 24 layer, 1024 kênh và 16 đầu chú ý (attention heads).
• Phương pháp tokenization: Sử dụng phép chiếu đặc trưng Fourier cho các giá trị số, mặt nạ phân loại và chỉ báo giá trị thiếu.
• Cơ chế suy luận: Sử dụng các hàng ngữ cảnh có nhãn làm tập huấn luyện để dự đoán các hàng truy vấn thông qua học trong ngữ cảnh.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng sản phẩm dữ liệu, việc chuyển sang tiền huấn luyện tổng hợp mang lại lợi thế đáng kể về quyền riêng tư và tuân thủ dữ liệu. Vì mô hình gốc không bao giờ nhìn thấy dữ liệu người dùng thực trong quá trình huấn luyện ban đầu, các tổ chức có thể tinh chỉnh hoặc sử dụng nó trong ngữ cảnh mà không lo ngại về việc rò rỉ thông tin nhạy cảm từ các nguồn công khai. Điều này giúp dễ dàng triển khai trong các ngành bị quản lý chặt chẽ nơi nguồn gốc dữ liệu được kiểm toán nghiêm ngặt.

Việc sử dụng các mô hình nhân quả cấu trúc để tạo dữ liệu tổng hợp cũng giải quyết vấn đề overfitting vào các thiên kiến cụ thể của tập dữ liệu. Dữ liệu thực tế thường chứa các tương quan giả mạo hoặc sự đa dạng hạn chế trong phân phối đặc trưng. Bằng cách phơi bày mô hình với phạm vi rộng hơn các cấu trúc nhân quả và mẫu nhiễu trong quá trình tiền huấn luyện, Seldon học được các cơ chế suy luận mạnh mẽ hơn. Khả năng khái quát hóa này có nghĩa là mô hình có thể hoạt động tốt hơn trên các bảng dữ liệu thực chưa từng thấy, khác biệt đáng kể so với các tập dữ liệu benchmark phổ biến.

Bạn có thể làm gì

• Tải trọng số mô hình Seldon và tokenizer từ kho lưu trữ Hugging Face để thử nghiệm suy luận cục bộ.
• Tạo các tập dữ liệu tổng hợp của riêng bạn bằng cách sử dụng các mô hình nhân quả cấu trúc để đánh giá cách mô hình xử lý các mẫu nhiễu cụ thể.
• Thử nghiệm với số lượng hàng ngữ cảnh khác nhau trong quá trình học trong ngữ cảnh để tìm sự cân bằng tối ưu cho yêu cầu độ trễ của bạn.
• So sánh kết quả của phép chiếu đặc trưng Fourier với các kỹ thuật chuẩn hóa tiêu chuẩn để hiểu tác động lên tokenization số.
• Xem xét cơ chế điểm cảm ứng trong layer chú ý cột để tối ưu hóa việc sử dụng bộ nhớ cho các bảng lớn.
• Kiểm tra mô hình trên các tác vụ dữ liệu dạng bảng có tỷ lệ giá trị thiếu cao để tận dụng các chỉ báo giá trị thiếu tích hợp sẵn.