Construir con IA

Los modelos de decisión reducen la latencia y el coste de la IA al restringir las salidas

Nuevos modelos de decisión como Jev ofrecen respuestas en milisegundos a una fracción del coste de los LLM al elegir entre opciones predefinidas, lo que reduce las alucinaciones pero limita el razonamiento complejo.

Un cubo de vidrio que representa un modelo de decisión junto a documentos y un cronómetro.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

En septiembre de 2026, la startup TypeSafe AI lanzó Jev, una nueva clase de modelo de inteligencia artificial diseñado para tomar decisiones rápidas sin el alto coste computacional ni los riesgos de alucinación asociados con los grandes modelos de lenguaje tradicionales. Este lanzamiento provocó un cambio inmediato en la industria, con grandes empresas tecnológicas como Cloudflare, Amazon, OpenAI y Microsoft lanzando rápidamente sus propias versiones de estos "modelos de decisión" para gestionar tareas de alto volumen y baja latencia.

Qué ocurrió

TypeSafe AI posicionó a Jev como un "modelo del Sistema Uno", haciendo referencia a la teoría del psicólogo Daniel Kahneman sobre el pensamiento rápido e instintivo frente al razonamiento lento y deliberado. La empresa afirmó que Jev podía ofrecer latencias de respuesta de extremo a extremo entre 70 y 500 milisegundos, significativamente más rápido que los varios segundos que suelen requerir los LLM estándar. Pruebas independientes respaldaron estas afirmaciones; un estudio coautorado por Ramayya Krishnan, profesor de Carnegie Mellon University, encontró que Jev alcanzaba una latencia mediana de 150 milisegundos en diversas pruebas de referencia. En contraste, el modelo GPT-6 Astra de OpenAI registró una latencia mediana de 1,89 segundos durante el mismo período.

Las implicaciones financieras son igualmente drásticas. TypeSafe AI cobra $0,042 por millón de tokens de entrada para Jev, mientras que los tokens de salida se proporcionan gratuitamente. Comparativamente, GPT-6 Astra cuesta $10 por millón de tokens de entrada y $50 por millón de tokens de salida. Incluso la variante GPT-6 Luna, más barata y optimizada para velocidad, cuesta $0,10 por millón de tokens de entrada y $0,50 por millón de tokens de salida. Esta reducción drástica en costes y tiempos ha atraído una atención significativa, llevando a TypeSafe AI a recaudar $870 millones con una valoración de $7,5 mil millones. El éxito del modelo también ha impulsado una ola de imitación, con desarrolladores independientes y empresas establecidas lanzando decenas de modelos similares en cuestión de semanas desde el debut de Jev.

Cómo funciona

Los modelos de decisión difieren fundamentalmente de los LLM tradicionales en su proceso de generación de salidas. Mientras que un LLM predice el siguiente token de una secuencia repetidamente hasta formar una respuesta completa, un modelo de decisión realiza una sola pasada hacia adelante (forward pass). Lee todos los tokens de entrada y genera una única opción de salida elegida de un conjunto predefinido de opciones, como A, B o C. Esta restricción arquitectónica elimina la generación secuencial de tokens que causa alta latencia y abre la puerta a errores factuales, o "alucinaciones", en los LLM.

Estos modelos conservan la arquitectura basada en transformers y la inteligencia general de los LLM, lo que les permite generalizar entre tareas sin el ajuste fino específico del dominio requerido por los modelos clasificadores más antiguos. Sin embargo, están restringidos a formatos de respuesta estructurados. Al calcular probabilidades solo entre posibilidades predeterminadas, los modelos de decisión previenen la generación de texto inesperado o fabricado. Esto los hace altamente efectivos para tareas como la moderación de contenido, la detección de spam y el enrutamiento, donde el objetivo es categorizar datos en lugar de generar texto creativo.

Detalles clave

  • Jev alcanza una latencia mediana de 150 milisegundos, comparada con 1,89 segundos para GPT-6 Astra en pruebas independientes.
  • El precio de los tokens de entrada para Jev es de $0,042 por millón, con tokens de salida gratuitos, superando ampliamente a la competencia en costes.
  • Los modelos de decisión utilizan una sola pasada hacia adelante para seleccionar entre opciones predefinidas, evitando la generación secuencial de tokens.
  • Proveedores importantes como Cloudflare, Amazon y Microsoft han lanzado sus propios modelos de decisión tras el lanzamiento de Jev.
  • El rendimiento disminuye en dominios que requieren razonamiento complejo, como medicina, finanzas y derecho, en comparación con los LLM.
  • Las arquitecturas híbridas que combinan modelos de decisión para juicios rápidos y LLM para explicaciones detalladas muestran promesas.

Por qué importa

Para ingenieros de software y líderes técnicos, los modelos de decisión ofrecen una solución práctica para tareas de procesamiento de alto volumen que no requieren generación abierta. Tareas como moderar publicaciones en redes sociales, filtrar correos de spam o detectar ataques de inyección de prompts ahora pueden manejarse con mayor velocidad y menor coste. Michelle Chen, gerente de producto de grupo en Cloudflare, sugiere que hasta el 80 % de las tareas típicas de los LLM podrían delegarse en estos modelos del Sistema Uno, más rápidos y baratos. Este cambio permite a los equipos desplegar capacidades de IA sin mantener grandes equipos de aprendizaje automático para entrenar clasificadores personalizados.

Sin embargo, la tecnología no es un reemplazo universal para los LLM. Los modelos de decisión tienen dificultades con tareas que requieren experiencia profunda en el tema o razonamiento lógico complejo. Los investigadores señalan que, aunque estos modelos eliminan las alucinaciones de salida, no eliminan los errores de toma de decisiones, particularmente en problemas de matemáticas o lógica. En consecuencia, la implementación más efectiva puede involucrar sistemas híbridos donde los modelos de decisión manejan la triage inicial o clasificaciones simples, pasando solo los casos complejos o de baja confianza a LLM más capaces, aunque más lentos y costosos.

Qué puedes hacer

  • Identifica tareas de alto volumen y baja complejidad en tu flujo de trabajo, como clasificación de documentos o filtrado de spam, para una posible migración a modelos de decisión.
  • Evalúa modelos de decisión de pesos abiertos como Clef de Cloudflare o SII-Decision para probar el rendimiento en tus conjuntos de datos específicos sin ataduras al proveedor.
  • Implementa arquitecturas híbridas donde los modelos de decisión realizan la triage inicial, enrutando solo consultas ambiguas o complejas a LLM completos.
  • Compara la latencia y el ahorro de costes frente a tu uso actual de LLM para cuantificar las posibles ganancias de eficiencia operativa.
  • Revisa los conjuntos de opciones predefinidas para tus casos de uso para asegurar que cubran todos los resultados necesarios sin ser demasiado restrictivos.
  • Monitorea la precisión en tareas específicas del dominio, reconociendo que los modelos de decisión pueden tener un rendimiento inferior en áreas que requieren razonamiento especializado.
  • #ai models
  • #llm optimization
  • #decision models
  • #latency
  • #cost reduction

Herramientas de la Tienda de Bytechap

$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos