Seldon utilise des graphes causaux synthétiques pour entraîner des modèles de base tabulaires

Neuralk-AI a publié Seldon, un nouveau modèle de base tabulaire hébergé sur Hugging Face. Publié début novembre 2026, cette architecture s'adresse aux ingénieurs en apprentissage automatique qui ont besoin de performances robustes sur des données structurées sans dépendre d'énormes jeux de données publics pour le pré-entraînement.

Ce qui s'est passé

Les détails de la publication décrivent un modèle qui diverge des pratiques standard de pré-entraînement en évitant totalement les données du monde réel. Au lieu d'extraire des dépôts publics ou d'utiliser des tableaux propriétaires d'entreprises, les développeurs ont entraîné Seldon exclusivement sur des jeux de données générés synthétiquement. Cette approche vise à résoudre les problèmes de rareté et de confidentialité souvent associés à la collecte de données tabulaires à grande échelle pour les modèles de base.

Seldon suit les schémas architecturaux observés dans Kumo Tabular et TabFM. Il compresse l'intégralité des tableaux en représentations au niveau des lignes, puis applique l'apprentissage en contexte (in-context learning). Le modèle traite les lignes de contexte étiquetées comme son ensemble d'entraînement lors de l'inférence, lui permettant de s'adapter dynamiquement à de nouvelles tâches. Cette conception permet au modèle de généraliser à travers différents problèmes tabulaires en apprenant la structure sous-jacente des relations entre les données, plutôt qu'en mémorisant des statistiques spécifiques aux jeux de données.

Comment cela fonctionne

L'architecture commence par un tokenizer spécialisé. Chaque cellule d'un tableau est convertie en jeton (token) via une projection de caractéristiques de Fourier pour les valeurs numériques, combinée à un masque catégoriel et à un indicateur de valeur manquante. Les caractéristiques sont regroupées avant cette projection afin de maintenir la cohérence structurelle. Ces jetons passent à travers des transformeurs alternant colonnes et lignes. Le mécanisme d'attention par colonne utilise des points inductifs (inducing points) pour traiter efficacement les informations à travers les lignes. La sortie est compressée en jetons de lecture CLS, produisant un vecteur dense par ligne.

Une fois les lignes encodées, le modèle entre dans la phase d'apprentissage en contexte. Une pile de transformeurs traite ces représentations de lignes compressées. Les lignes de contexte étiquetées fournissent les signaux nécessaires, et le modèle prédit les résultats pour les lignes de requête sur la base de ce contexte. Enfin, une tête perceptron multicouche mappe la représentation de chaque ligne de requête vers des probabilités de classe. Le nombre total de paramètres est de 213,46 millions, répartis entre l'étape d'encodage et la pile d'apprentissage en contexte.

La stratégie de pré-entraînement repose sur une méthode développée par Neuralk basée sur des modèles causaux structurels. Chaque tâche synthétique provient d'un graphe causal échantillonné aléatoirement. Les nœuds de ces graphes sont liés par des relations fonctionnelles tirées au hasard et du bruit. Le modèle lit directement les caractéristiques et les cibles à partir de ces graphes. Cette méthode génère des scénarios diversifiés en variant les structures de graphes, les dépendances fonctionnelles, les types de caractéristiques, les distributions, les niveaux de bruit, les motifs de valeurs manquantes et les équilibres de classes.

Détails clés

• Nombre total de paramètres : 213,46 millions, dont 9,93 millions dans le module d'encodage cellule/ligne et 203,53 millions dans la pile d'apprentissage en contexte.
• Données de pré-entraînement : Exclusivement des jeux de données synthétiques générés à partir de modèles causaux structurels ; aucune donnée réelle n'a été utilisée.
• Forme de l'encodage : 256 canaux, 6 paires de couches, 256 points inductifs et 4 jetons de lecture.
• Configuration de la pile ICL : 24 couches, 1024 canaux et 16 têtes d'attention.
• Méthode de tokenisation : Utilise la projection de caractéristiques de Fourier pour les valeurs numériques, des masques catégoriels et des indicateurs de valeurs manquantes.
• Mécanisme d'inférence : Utilise les lignes de contexte étiquetées comme ensemble d'entraînement pour prédire les lignes de requête via l'apprentissage en contexte.

Pourquoi c'est important

Pour les ingénieurs construisant des produits basés sur les données, le passage au pré-entraînement synthétique offre un avantage significatif en matière de confidentialité des données et de conformité. Puisque le modèle de base ne voit jamais de données utilisateur réelles lors de son entraînement initial, les organisations peuvent l'affiner (fine-tune) ou l'utiliser en contexte sans craindre de divulguer des informations sensibles provenant de sources publiques. Cela facilite le déploiement dans des industries réglementées où la provenance des données est strictement auditée.

L'utilisation de modèles causaux structurels pour générer des données synthétiques répond également au problème de surapprentissage (overfitting) lié aux biais spécifiques des jeux de données. Les jeux de données réels contiennent souvent des corrélations spurieuses ou une diversité limitée dans les distributions de caractéristiques. En exposant le modèle à un éventail plus large de structures causales et de motifs de bruit pendant le pré-entraînement, Seldon apprend des mécanismes d'inférence plus robustes. Cette capacité de généralisation signifie que le modèle pourrait mieux performer sur des tableaux réels inédits qui diffèrent considérablement des jeux de données de référence courants.

Ce que vous pouvez faire

• Téléchargez les poids du modèle Seldon et le tokenizer depuis le dépôt Hugging Face pour tester l'inférence locale.
• Générez vos propres jeux de données synthétiques à l'aide de modèles causaux structurels pour évaluer la manière dont le modèle gère des motifs de bruit spécifiques.
• Expérimentez avec différents nombres de lignes de contexte lors de l'apprentissage en contexte pour trouver l'équilibre optimal selon vos exigences de latence.
• Comparez les résultats de la projection de caractéristiques de Fourier avec les techniques de normalisation standard pour comprendre l'impact sur la tokenisation numérique.
• Examinez le mécanisme des points inductifs dans la couche d'attention par colonne pour optimiser l'utilisation de la mémoire pour les grands tableaux.
• Testez le modèle sur des tâches tabulaires présentant des taux élevés de valeurs manquantes pour tirer parti de ses indicateurs intégrés de valeurs manquantes.