Seldon utiliza grafos causales sintéticos para entrenar modelos fundacionales tabulares

Neuralk-AI ha lanzado Seldon, un nuevo modelo fundacional tabular alojado en Hugging Face. Publicado a principios de noviembre de 2026, esta arquitectura está dirigida a ingenieros de aprendizaje automático que necesitan un rendimiento robusto en datos estructurados sin depender de grandes conjuntos de datos públicos para el preentrenamiento.

Qué ha ocurrido

Los detalles del lanzamiento describen un modelo que se aparta de las prácticas estándar de preentrenamiento al evitar por completo los datos del mundo real. En lugar de extraer información de repositorios públicos o utilizar tablas corporativas propietarias, los desarrolladores entrenaron Seldon exclusivamente con conjuntos de datos generados sintéticamente. Este enfoque busca resolver los problemas de escasez y privacidad asociados habitualmente a la recopilación de datos tabulares a gran escala para modelos fundacionales.

Seldon sigue patrones arquitectónicos vistos en Kumo Tabular y TabFM. Comprime tablas completas en representaciones a nivel de fila y luego aplica aprendizaje en contexto (in-context learning). El modelo trata las filas de contexto etiquetadas como su conjunto de entrenamiento durante la inferencia, lo que le permite adaptarse dinámicamente a nuevas tareas. Este diseño posibilita que el modelo generalice entre diferentes problemas tabulares aprendiendo la estructura subyacente de las relaciones de datos en lugar de memorizar estadísticas específicas del conjunto de datos.

Cómo funciona

La arquitectura comienza con un tokenizador especializado. Cada celda de una tabla se convierte en un token utilizando una proyección de características de Fourier para valores numéricos, combinada con una máscara categórica y un indicador de valor faltante. Las características se agrupan antes de esta proyección para mantener la coherencia estructural. Estos tokens pasan a través de transformadores intercalados de columnas y filas. El mecanismo de atención por columna utiliza puntos inductores para procesar eficientemente la información a través de las filas. La salida se comprime en tokens de lectura CLS, resultando en un vector denso por fila.

Una vez que las filas están embebidas, el modelo entra en la fase de aprendizaje en contexto. Una pila de transformadores procesa estas representaciones de filas comprimidas. Las filas de contexto etiquetadas proporcionan las señales necesarias, y el modelo predice resultados para filas de consulta basándose en este contexto. Finalmente, una cabeza de perceptrón multicapa mapea la representación de cada fila de consulta a probabilidades de clase. El conteo total de parámetros es de 213,46 millones, divididos entre la etapa de embedding y la pila de aprendizaje en contexto.

La estrategia de preentrenamiento se basa en un prior desarrollado por Neuralk basado en modelos causales estructurales. Cada tarea sintética proviene de un grafo causal muestreado aleatoriamente. Los nodos en estos grafos están vinculados por relaciones funcionales dibujadas aleatoriamente y ruido. El modelo lee directamente características y objetivos de estos grafos. Este método genera escenarios diversos variando estructuras de grafos, dependencias funcionales, tipos de características, distribuciones, niveles de ruido, patrones de valores faltantes y equilibrios de clases.

Detalles clave

• Parámetros totales: 213,46 millones, con 9,93 millones en el módulo de embedding de celda/fila y 203,53 millones en la pila de aprendizaje en contexto.
• Datos de preentrenamiento: Exclusivamente conjuntos de datos sintéticos generados a partir de modelos causales estructurales; no se utilizó ningún dato del mundo real.
• Forma del embedding: 256 canales, 6 pares de capas, 256 puntos inductores y 4 tokens de lectura.
• Configuración de la pila ICL: 24 capas, 1024 canales y 16 cabezas de atención.
• Método de tokenización: Utiliza proyección de características de Fourier para valores numéricos, máscaras categóricas e indicadores de valores faltantes.
• Mecanismo de inferencia: Utiliza filas de contexto etiquetadas como conjunto de entrenamiento para predecir filas de consulta mediante aprendizaje en contexto.

Por qué importa

Para los ingenieros que construyen productos de datos, el cambio hacia el preentrenamiento sintético ofrece una ventaja significativa en privacidad y cumplimiento normativo de datos. Dado que el modelo base nunca ve datos reales de usuarios durante su entrenamiento inicial, las organizaciones pueden ajustarlo fino (fine-tune) o usarlo en contexto sin preocuparse por filtrar información sensible desde fuentes públicas. Esto facilita su despliegue en industrias reguladas donde la procedencia de los datos se audita estrictamente.

El uso de modelos causales estructurales para generar datos sintéticos también aborda el problema del sobreajuste a sesgos específicos del conjunto de datos. Los conjuntos de datos del mundo real a menudo contienen correlaciones espurias o diversidad limitada en las distribuciones de características. Al exponer el modelo a una gama más amplia de estructuras causales y patrones de ruido durante el preentrenamiento, Seldon aprende mecanismos de inferencia más robustos. Esta capacidad de generalización significa que el modelo podría tener un mejor rendimiento en tablas del mundo real no vistas que difieran significativamente de los conjuntos de datos de referencia comunes.

Qué puedes hacer

• Descarga los pesos del modelo Seldon y el tokenizador desde el repositorio de Hugging Face para probar la inferencia local.
• Genera tus propios conjuntos de datos sintéticos utilizando modelos causales estructurales para evaluar cómo maneja el modelo patrones de ruido específicos.
• Experimenta con diferentes números de filas de contexto durante el aprendizaje en contexto para encontrar el equilibrio óptimo para tus requisitos de latencia.
• Compara los resultados de la proyección de características de Fourier contra técnicas de normalización estándar para entender el impacto en la tokenización numérica.
• Revisa el mecanismo de puntos inductores en la capa de atención por columna para optimizar el uso de memoria en tablas grandes.
• Prueba el modelo en tareas tabulares con altas tasas de valores faltantes para aprovechar sus indicadores de valores faltantes integrados.