Los modelos de decisión captan el 25 % del tráfico de Vercel mientras Microsoft entra en el mercado
Los nuevos modelos de IA que emiten decisiones en lugar de texto están dominando las cargas de trabajo de producción. Microsoft y startups compiten por optimizar estos motores de decisión rápidos y de bajo coste.
Traducido automáticamente del original en inglés.
En octubre, más de una de cada cuatro solicitudes en el router de modelos de IA de Vercel se dirigieron a modelos de decisión en lugar de a los grandes modelos de lenguaje tradicionales. Este aumento representa una tasa de adopción masiva para una categoría tecnológica inventada apenas un mes antes. Grandes actores como Microsoft y startups especializadas se apresuran ahora a definir esta nueva capa de infraestructura de inteligencia artificial.
Qué ha ocurrido
Los modelos de decisión son una clase distinta de IA que no generan tokens de salida como los LLM estándar. En su lugar, están ajustados para utilizar la inteligencia general con el fin de elegir rápidamente entre opciones predefinidas, informando además sobre el nivel de confianza de esa elección. Esta arquitectura está optimizada para entornos de producción donde la velocidad y la eficiencia de costes priman sobre la necesidad de razonamiento detallado o generación creativa de texto. El rápido cambio en los patrones de uso destaca una demanda creciente de componentes de IA ligeros y deterministas en las pilas de software.
TypeSafe ha surgido como líder temprano en este espacio, alcanzando una valoración de 7.500 millones de dólares tras lanzar su familia de modelos Jev. Las métricas de OpenRouter muestran que los modelos de TypeSafe gestionaron más de 1.500 millones de consultas en una sola semana, lo que indica una cuota de mercado dominante en los canales visibles. Sin embargo, la barrera de entrada parece baja. Decenas de modelos competidores han sido lanzados desde el debut de Jev, incluido uno construido por un ingeniero de Amazon en un solo fin de semana. Ahora, todos los principales hyperscalers ofrecen sus propias variantes.
El martes, el CEO de Microsoft, Satya Nadella, anunció el lanzamiento inmediato y generalizado de Microsoft-Decision-1.1 en Azure. Simultáneamente, Sqwish, una startup con sede en Reino Unido, anunció una ronda pre-seed de 3 millones de dólares. El modelo de Sqwish, llamado kettei fat, fue desarrollado por los graduados de Cambridge Ushnish Sengupta y Federica Freddi. Reutilizaron sus arquitecturas existentes de LLM pequeños para competir en esta nueva categoría, apostando a que la personalización y las herramientas de post-training los diferenciarán de las ofertas genéricas.
Cómo funciona
El desafío técnico central para construir modelos de decisión efectivos no es solo la inteligencia bruta, sino la calibración. Diogo Almeida, CEO de TypeSafe, señaló que la parte más difícil de crear Jev fue calibrar finamente el juicio del modelo utilizando datos sintéticos ajustados estadísticamente. El modelo debe evaluar con precisión su propia confianza para evitar errores críticos en flujos de trabajo automatizados. Sin esta calibración, un modelo rápido es simplemente una fuente rápida de alucinaciones.
Sqwish aborda este problema proporcionando herramientas integradas de post-training que permiten a los clientes mejorar el juicio del modelo utilizando sus propios datos de producción. Esto crea un bucle de retroalimentación donde el modelo se adapta a contextos empresariales específicos con el tiempo. En lugar de depender únicamente de benchmarks estáticos, este método enfatiza el ajuste continuo. Los desarrolladores pueden intercambiar modelos fácilmente, pero la propuesta de valor se desplaza hacia la mejora del rendimiento a largo plazo mediante la integración de datos propietarios.
Microsoft-Decision-1.1 fue diseñado equilibrando coste, latencia, inteligencia y calibración. Achint Srivastava, VP de ingeniería que lideró el proyecto, destacó que los modelos optimizados estrictamente para benchmarks a menudo fallan en el uso empresarial real. Las pruebas de Microsoft se centraron en benchmarks retenidos que reflejan casos de uso reales, asegurando que el modelo funcione de manera fiable simultáneamente en las cuatro dimensiones críticas.
Detalles clave
- En octubre, más del 25 % de las solicitudes del router de modelos de IA de Vercel fueron a modelos de decisión.
- Los modelos Jev de TypeSafe procesaron más de 1.500 millones de consultas en una semana a través de OpenRouter.
- Microsoft lanzó Microsoft-Decision-1.1 para uso generalizado en Azure de forma inmediata.
- Sqwish recaudó 3 millones de dólares en financiación pre-seed para su modelo de decisión kettei fat.
- Los modelos de decisión emiten opciones predefinidas y puntuaciones de confianza, no tokens de texto.
- La calibración utilizando datos sintéticos y de producción se cita como el principal obstáculo técnico.
Por qué importa
Para ingenieros de software y fundadores técnicos, el auge de los modelos de decisión señala un cambio en cómo se integra la IA en los productos. Anteriormente, los desarrolladores podían haber utilizado costosos modelos de frontera para tareas simples de enrutamiento o clasificación, pagando por capacidades de razonamiento que no necesitaban. Los modelos de decisión ofrecen una forma de reducir significativamente la latencia y los costes para estas tareas de alto volumen y baja complejidad. Esto permite a los equipos reservar modelos potentes y más lentos para tareas generativas complejas, mientras manejan la lógica rutinaria con agentes especializados y eficientes.
La competencia entre hyperscalers y startups también destaca la importancia de la propiedad de los datos y la personalización. Mientras Microsoft y Amazon proporcionan modelos de decisión robustos y de propósito general, startups como Sqwish argumentan que las soluciones genéricas se convertirán en commodities. La capacidad de ajustar finamente un modelo con datos de producción privados ofrece una ventaja defensiva para las empresas que construyen funciones de IA propietarias. Como señaló Federica Freddi, esta inteligencia de "Sistema Uno" representa una oportunidad multimillonaria distinta de las valoraciones billonarias de los laboratorios de IA de propósito general.
Qué puedes hacer
- Audita tu uso actual de IA para identificar tareas de alto volumen y baja complejidad adecuadas para modelos de decisión.
- Prueba Microsoft-Decision-1.1 o los modelos Jev de TypeSafe frente a tus routers LLM actuales para buscar ahorros de costes.
- Evalúa si tu aplicación requiere calibración personalizada mediante herramientas de post-training ofrecidas por startups como Sqwish.
- Monitoriza las puntuaciones de confianza de los modelos de decisión para establecer umbrales apropiados para intervenciones humanas (human-in-the-loop).
- Prepara conjuntos de datos sintéticos que reflejen tu lógica empresarial específica para mejorar la calibración del modelo.
- Considera diseñar sistemas donde los modelos de decisión de "Sistema Uno" gestionen el enrutamiento antes de pasar los casos complejos a modelos generativos de "Sistema Dos".



