Basal-omni-1.0-ultra lleva la toma de decisiones con imágenes en modo zero-shot a Gemma 4

El 18 de octubre de 2026, el desarrollador Remek lanzó basal-omni-1.0-ultra, un modelo especializado de pesos abiertos alojado en Hugging Face. Construido sobre la arquitectura Gemma 4 de Google, este sistema de 31 mil millones de parámetros está diseñado para tareas de clasificación de alto riesgo en lugar de chat generativo. Introduce la comprensión de imágenes en modo zero-shot en la línea basal, permitiendo a los ingenieros enrutar documentos y consultas basándose en entradas visuales sin necesidad de entrenamiento adicional en medios.

Qué ha ocurrido

Este lanzamiento marca el modelo más grande de la serie basal-omni, escalando desde la base Bielik anterior de 11 mil millones de parámetros hasta Gemma 4-31B de Google. A diferencia de los modelos de lenguaje grandes estándar que generan respuestas textuales verbosas, basal-omni-1.0-ultra opera como un motor de decisión de "Sistema 1". Lee un estado definido —como un mensaje de cliente, un documento recuperado o una traza de agente— y emite una decisión tipificada. El modelo admite opciones, respuestas sí/no, puntuaciones y selección de herramientas, proporcionando una probabilidad calibrada para cada opción en una única pasada hacia adelante (forward pass).

Un avance significativo en esta versión es la inclusión del procesamiento de imágenes. Al aprovechar el codificador nativo de imágenes de Gemma 4, el modelo puede analizar imágenes junto con estados de texto de manera zero-shot. Esto significa que no fue entrenado explícitamente con pares imagen-decisión, pero puede interpretar datos visuales como recibos o formularios. Sin embargo, el modelo no admite entrada de audio, ya que la base subyacente de 31B carece de un codificador de audio. El lanzamiento se etiqueta como experimental, instando a los desarrolladores a validar el rendimiento en sus conjuntos de datos específicos antes del despliegue completo.

El proceso de entrenamiento implicó el ajuste fino (fine-tuning) de la base Gemma 4 utilizando LoRA sobre aproximadamente 640.000 decisiones tipificadas en polaco e inglés. Estas decisiones cubrieron diversos escenarios, incluyendo análisis de contratos, verificación de reglas y selección de herramientas de agentes. El modelo utiliza objetivos suaves destilados del modelo basal-1.5 anterior para mejorar la precisión. El entrenamiento se detuvo después de 10.000 pasos cuando las métricas de desarrollo se estancaron, y los pesos fueron fusionados y redondeados a precisión bf16 para una inferencia eficiente.

Cómo funciona

El mecanismo central de basal-omni-1.0-ultra difiere fundamentalmente de la IA generativa. En lugar de predecir la siguiente palabra en una secuencia, el modelo predice el siguiente token de un conjunto restringido de códigos de opción (A–Z y combinaciones de dos caracteres). Cuando llega una solicitud, el servidor prefija la respuesta del asistente con una estructura JSON específica. El modelo realiza entonces una única pasada hacia adelante, calculando las probabilidades softmax solo para los tokens de respuesta permitidos. Este enfoque garantiza que la salida nunca caiga fuera de las opciones proporcionadas y ofrece una medida directa de confianza.

Para las entradas de imágenes, el sistema acepta imágenes codificadas en base64 o URLs de datos dentro de la carga útil de la solicitud. El codificador de imágenes de Gemma 4 procesa estos visuales en tokens, que luego se tratan como parte del contexto del estado. Aunque el codificador en sí permanece inalterado respecto al modelo base, la cabeza de decisión aprende a interpretar estos tokens visuales a través de su entrenamiento basado en texto. El servidor aplica la calibración de temperatura desde un archivo JSON proporcionado para ajustar los umbrales de confianza, permitiendo a los usuarios automatizar decisiones solo cuando la certeza del modelo supera una tasa de error predefinida, como el 1% o el 5%.

Detalles clave

• Arquitectura del modelo: Basada en Google Gemma 4-31B con un vocabulario de 262k; utiliza ajuste fino LoRA fusionado en pesos bf16.
• Capacidad de entrada: Admite hasta 255 opciones por pregunta y estados de hasta 10.000 tokens en una GPU de 80 GB.
• Soporte multimedia: Gestiona imágenes mediante el codificador de Gemma 4 en modo zero-shot; rechaza explícitamente las entradas de audio con errores HTTP 422.
• Métricas de rendimiento: Logra una puntuación macro de 0.879 en el benchmark Werdykt v1, superando a la variante max de 12B por 5.6 puntos.
• Velocidad de inferencia: Funciona con una latencia p50 de 80 ms por pregunta en una GPU H200 en modo eager, soportando aproximadamente 8.6 decisiones por segundo bajo carga.
• Calibración: Incluye umbrales de confianza certificados para tasas de error del 1% y 5%, lo que permite una automatización segura al diferir los elementos de baja confianza a humanos.

Por qué importa

Para los ingenieros de software que construyen capas de clasificación, este modelo ofrece una alternativa determinista a la generación de texto probabilística. Los LLM tradicionales a menudo alucinan o se desvían de los requisitos estrictos de formato, requiriendo complejos pipelines de posprocesamiento para extraer datos estructurados. Basal-omni-1.0-ultra elimina esta sobrecarga al restringir las salidas a tipos predefinidos. Esta fiabilidad es crucial para aplicaciones como el enrutamiento de soporte al cliente, la verificación de cumplimiento normativo o el procesamiento de documentos financieros, donde una categorización incorrecta puede tener graves consecuencias operativas.

La integración de la comprensión de imágenes en modo zero-shot expande la utilidad del modelo sin el costo de enormes conjuntos de entrenamiento multimodales. Los desarrolladores pueden ahora construir sistemas que lean facturas escaneadas, identifiquen métodos de pago desde fotos de recibos o clasifiquen formularios manuscritos utilizando el mismo endpoint de API usado para texto. Aunque la precisión en fotos reales difíciles queda por detrás del análisis basado en texto, el rendimiento en documentos renderizados es competitivo. Esto permite a los equipos unificar su lógica de decisión de texto y visión en un único servicio manejable.

Qué puedes hacer

• Instala el modelo en un entorno Python nuevo usando uv y PyTorch 2.11.0 con soporte para CUDA 12.8.
• Inicia el servidor con la bandera --media on para habilitar las capacidades de procesamiento de imágenes para tus solicitudes.
• Prueba el modelo con tus propias imágenes de documentos usando los ejemplos de curl proporcionados para establecer una línea base de precisión frente a tu flujo de trabajo actual.
• Revisa el archivo CALIBRATION.json para configurar umbrales de confianza apropiados para tus niveles específicos de tolerancia al error.
• Usa la bandera --orders 2 si la sensibilidad al orden de las opciones es una preocupación, aceptando el compromiso de duplicar el coste computacional.
• Valida el modelo en un conjunto reservado (held-out set) de tus datos del mundo real antes de automatizar cualquier decisión de alto riesgo.