IA abierta y local

Inkling 2 Mini lleva la arquitectura de transformador en bucle al hardware local

Thinking Machines Lab lanza Inkling 2 Mini, un modelo multimodal de mezcla de expertos diseñado para configuraciones locales con una arquitectura única de capas en bucle.

Un cubo de vidrio con capas internas en bucle que representan la arquitectura de Inkling 2 Mini.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Thinking Machines Lab ha lanzado Inkling 2 Mini, un nuevo modelo multimodal de mezcla de expertos optimizado para el despliegue local. Publicado el 20 de noviembre de 2026, este modelo introduce una arquitectura de transformador en bucle que equilibra la eficiencia de parámetros con un alto rendimiento, dirigido a desarrolladores que necesitan una IA capaz sin infraestructura a escala de centros de datos.

Qué ocurrió

Inkling 2 Mini representa una partida significativa respecto a los modelos densos estándar o los dispersos tradicionales. Cuenta con aproximadamente 26 mil millones de parámetros físicos, pero activa solo 3 mil millones por token. El modelo logra esta eficiencia mediante un truco estructural novedoso: recorre sus capas intermedias tres veces. Este diseño permite que el modelo se comporte como si tuviera 48 capas lógicas mientras almacena físicamente solo 24. El resultado es un sistema que mantiene alta capacidad y profundidad de razonamiento conservando una huella de memoria lo suficientemente pequeña para máquinas locales.

El lanzamiento incluye soporte tanto para entradas de texto como de imagen, con una ventana de contexto de hasta 1 millón de tokens. Thinking Machines Lab distribuye el modelo en formatos de precisión mixta, utilizando específicamente NVFP4 y MXFP8 para los pesos de los expertos, lo que ayuda a reducir aún más los requisitos de almacenamiento y memoria. También se incluye un borrador DSpark para habilitar la decodificación especulativa, ofreciendo mejoras adicionales de velocidad a un costo mínimo de memoria. El modelo se posiciona como un competidor directo de otros modelos locales de tamaño medio, con pruebas iniciales que sugieren un rendimiento comparable al de Qwen 3.8 27B.

Cómo funciona

La innovación central de Inkling 2 Mini es su ruta de ejecución en bucle. El modelo consta de 24 capas de decodificador, pero el flujo de procesamiento no es lineal. Las capas 0–5 y 18–23 se visitan una vez, mientras que el bloque intermedio, las capas 6–17, se ejecutan tres veces en un bucle. Crucialmente, estos tres pases reutilizan los mismos pesos. Para evitar que el modelo simplemente se repita, utiliza mensajes entre pases. Cada pase lee información de las salidas del pase anterior mediante consultas aprendidas para las entradas clave, valor y MLP. Un controlador de puerta decide luego cuánto de la nueva entrada mantener y cuánto del mensaje anterior integrar, permitiendo que cada bucle refine el cálculo.

Esta arquitectura está respaldada por un mecanismo de mezcla de expertos. En cada visita a una capa, el router selecciona 8 expertos de un grupo de 128. El tamaño oculto es de 2.304, con un ancho de experto intermedio de 1.152. El mecanismo de atención utiliza 24 cabezas de consulta y ocho cabezas KV, incorporando logits de posición relativa aprendidos y convoluciones dinámicas para las capas de atención completa. Esta combinación de compartición de pesos, refinamiento iterativo y selección dispersa de expertos permite que el modelo rinda por encima de su categoría en términos de profundidad lógica y conteo de parámetros.

Detalles clave

  • Arquitectura: Transformador en bucle con 24 capas físicas que actúan como 48 capas lógicas mediante el triple recorrido de las 12 capas intermedias.
  • Parámetros: ~26 mil millones de parámetros físicos totales, con 3 mil millones de parámetros activos por token.
  • Ventana de contexto: Soporta hasta 1 millón de tokens para entradas tanto de texto como de imagen.
  • Precisión: Se distribuye en formato de precisión mixta con pesos de expertos NVFP4 y MXFP8.
  • Rendimiento: Lidera en 32 de 48 benchmarks en el Artificial Analysis Intelligence Index v5, incluyendo tareas de codificación y visión.
  • Soporte de inferencia: Disponible vía Transformers, Llama App (llama.cpp), MLX y SGLang con soporte desde el día cero.

Por qué importa

Para ingenieros de software y fundadores técnicos, Inkling 2 Mini representa un cambio hacia una IA local más eficiente. La capacidad de ejecutar un modelo con la profundidad lógica de un sistema de 48 capas en hardware que solo puede almacenar 24 capas reduce la barrera de entrada para aplicaciones de IA sofisticadas. Esto es particularmente relevante para asistentes de código, flujos de trabajo agénticos y herramientas basadas en visión que requieren ventanas de contexto largas pero deben operar dentro de estrictas restricciones de memoria. La inclusión de pesos de precisión mixta y soporte de decodificación especulativa significa que los desarrolladores pueden lograr mayor throughput sin necesitar costosos clústeres de GPU.

El rendimiento del modelo en benchmarks como FrontierCode v2.0 y Terminal-Bench 4.0 sugiere que es adecuado para entornos de desarrollo. Al liderar en muchas categorías frente a modelos más grandes como Gemma 4 31B y Nemotron 3.5 Super VL, Inkling 2 Mini ofrece una alternativa convincente para equipos que buscan desplegar IA capaz localmente. La disponibilidad de una variante de investigación con pases de bucle variables también abre puertas para la experimentación, permitiendo a los usuarios equilibrar velocidad y calidad según su caso de uso específico.

Qué puedes hacer

  • Prueba el modelo localmente: Usa Llama App o llama.cpp con las cuantizaciones GGUF proporcionadas (IQ4_NL o Q8_0) para ejecutar Inkling 2 Mini en macOS o Windows.
  • Integra con Python: Usa la librería transformers y la clase AutoModelForMultimodalLM para cargar el modelo y procesar entradas de texto o imagen.
  • Experimenta con pases de bucle: Prueba el checkpoint TML-d24-varloop-research para ajustar el número de pases de bucle y observar el impacto en la velocidad y la calidad de salida.
  • Despliega con SGLang: Configura un servidor listo para producción usando SGLang, asegurándote de ejecutarlo en hardware SM103 para un rendimiento óptimo.
  • Habilita la decodificación especulativa: Añade el borrador DSpark a tu configuración de SGLang para aumentar la velocidad de generación, especialmente en tareas de contexto largo.
  • Usa MLX para Apple Silicon: Aprovecha el soporte MLX integrado aguas arriba para ejecutar el modelo nativamente en hardware Apple con cuantización NVFP4 y MXFP8.
  • #ai
  • #local-llm
  • #transformers
  • #machine-learning

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo

Seguir leyendo

Todos los artículos