Ricursive entrena un modelo de 65 mil millones de parámetros por $32M con nuevos benchmarks de programación

Ricursive Intelligence ha lanzado Ripple-65B Preview, un nuevo modelo de lenguaje de pesos abiertos diseñado para impulsar su plataforma de diseño de chips de IA. La empresa entrenó este modelo de 65 mil millones de parámetros desde cero por $32 millones, logrando una nueva puntuación líder en Estados Unidos entre los modelos de pesos abiertos en benchmarks de programación agéntica, mientras reducía significativamente los costos de entrenamiento de sus competidores más grandes.

Qué ocurrió

Ricursive Intelligence, un laboratorio de IA de pila completa centrado en la cooptimización de hardware y software, anunció el lanzamiento público de Ripple-65B Preview. Esta variante de propósito general se deriva del modelo propietario que impulsa internamente sus herramientas de diseño de chips de IA. El modelo fue preentrenado con 12 billones de tokens y admite longitudes de contexto de hasta un millón de tokens. Al momento de su lanzamiento, estableció inmediatamente un nuevo estándar para los modelos de pesos abiertos de EE. UU. en tareas de programación agéntica.

Las métricas de rendimiento sitúan a Ripple-65B por delante de varios modelos significativamente más grandes. Obtuvo una puntuación de 80.52 en TerminalBench 2.1, superando a Reflection Beam 501B (80.1), Meta Muse Spark Open 816B (76.4), Thinking Machines Inkling 975B (63.8) y NVIDIA Nemotron 3 Ultra 550B (56.4). A pesar de tener menos parámetros que estos competidores, Ripple-65B ofrece un sólido rendimiento de razonamiento con generación de tokens de baja latencia gracias a su arquitectura densa. El modelo está disponible actualmente en Hugging Face, Together AI, GMI Cloud y OpenRouter, con soporte para Fireworks programado para entrar en funcionamiento poco después del anuncio.

Quizás lo más notable para la industria sea la eficiencia en costos. Mientras que las estimaciones para el entrenamiento de modelos de frontera han oscilado entre $100 millones y más de $1 mil millones, Ricursive desarrolló y entrenó Ripple-65B Preview por solo $32 millones. Esta cifra representa el costo total de investigación y desarrollo, incluyendo el desarrollo de escaleras de preentrenamiento, mezcla de datos, evaluaciones, depuración, generación de datos sintéticos y las ejecuciones finales de entrenamiento. La empresa afirma que esto es aproximadamente una décima parte del costo del anterior modelo líder de pesos abiertos en programación agéntica.

Cómo funciona

Las ganancias en eficiencia provienen de una combinación de decisiones arquitectónicas y una estrategia de entrenamiento disciplinada conocida como "model laddering" (escalera de modelos). En lugar de adoptar arquitecturas Mixture-of-Experts (MoE) comunes en los modelos grandes recientes, Ricursive optó por un Transformer denso modernizado. Esta decisión redujo la complejidad de la infraestructura y les permitió mantener una Utilización de FLOPs del Modelo (MFU) sólida del 40% durante todo el entrenamiento sin requerir kernels personalizados ni cuantización. La arquitectura presenta una relación de aspecto "delgada y profunda", con una dimensión oculta estrecha de 5120 y 80 capas en total. Para mejorar las capacidades de razonamiento, sobredimensionaron las cabezas de atención, aumentaron la proporción de Atención de Ventana Deslizante (SWA) respecto a las capas globales y redujeron el tamaño de la ventana SWA. Las modificaciones técnicas adicionales incluyeron recorte de activación FFN, atención con puerta, NoPE global (sin embeddings posicionales) y residuales de valor.

La eficiencia del entrenamiento se mejoró aún más mediante un enfoque de aprendizaje por refuerzo (RL) de ascenso pronunciado. En lugar de depender del escalado RL por fuerza bruta o de la compra de datos de post-entrenamiento, el equipo desarrolló pipelines internos de datos sintéticos con filtrado riguroso de calidad. Emplearon una receta de RL mixta utilizando muestreo de importancia truncado, centrado de puntuaciones y penalizaciones lineales de longitud dentro de entornos sintéticos de alta calidad y horizonte largo. A medida que el modelo mejoraba, se introdujeron continuamente tareas más difíciles. Este método permitió que Ripple-65B alcanzara su máxima puntuación en TerminalBench con solo 1.4 millones de rollouts, aproximadamente 70 veces menos que el anterior modelo líder, Reflection Beam.

La receta de preentrenamiento se refinó mediante experimentos iterativos a pequeña escala llamados escaleras de modelos. Comenzando desde la escalera del modelo Olmo 3, el equipo probó varias intervenciones, como cambiar de post-norm a pre-plus-post norm, implementar atención con puerta sigmoide y añadir residuales de valor. Estos cambios compuestos mejoraron la eficiencia computacional en código hasta 16x a la escala de 4 mil millones de parámetros en comparación con la línea base de la escalera Olmo 3. La versión final utilizó un conjunto de datos de preentrenamiento personalizado con código sustancialmente sobre-muestreado, asegurando que el modelo se especializara eficazmente en tareas de programación antes de escalar.

Detalles clave

• Tamaño del modelo: 65 mil millones de parámetros, arquitectura densa.
• Costo de entrenamiento: $32 millones de gasto total en I+D, incluyendo generación de datos e infraestructura.
• Puntuación en benchmark: 80.52 en TerminalBench 2.1, un nuevo estado del arte de pesos abiertos en EE. UU.
• Longitud de contexto: Admite hasta 1 millón de tokens.
• Datos de entrenamiento: Preentrenado con 12 billones de tokens con un enfoque en código sobre-muestreado.
• Eficiencia: Logró rendimiento SOTA con 70x menos rollouts de RL que el líder anterior.

Por qué importa

Para equipos de ingeniería y fundadores técnicos, Ripple-65B demuestra que los conteos masivos de parámetros no son estrictamente necesarios para una programación agéntica de alto rendimiento. El éxito de una arquitectura densa, delgada y profunda desafía la tendencia predominante hacia los modelos MoE dispersos, sugiriendo que un ajuste arquitectónico cuidadoso puede ofrecer mejor latencia y eficiencia en hardware específico. Esto es particularmente relevante para desarrolladores que buscan ejecutar modelos capaces en dispositivos locales o hardware de borde, como el NVIDIA DGX Spark, donde el ancho de banda de memoria suele ser un cuello de botella en comparación con los FLOPs de cómputo brutos.

El desglose de costos también proporciona un benchmark realista de lo que es alcanzable con ingeniería disciplinada. Al evitar compras costosas de datos y enfocarse en la calidad de los datos sintéticos y recetas eficientes de RL, Ricursive logró rendimiento de nivel de frontera a una fracción de los costos proyectados por la industria. Esto señala un cambio donde la eficiencia algorítmica y la calidad de los datos pueden superar al escalado de cómputo por fuerza bruta, ofreciendo un camino más sostenible para organizaciones que construyen herramientas de IA especializadas sin acceso a presupuestos de cientos de millones de dólares.

Qué puedes hacer

• Descarga Ripple-65B Preview desde Hugging Face para probar sus capacidades de programación agéntica en tu entorno local.
• Evalúa el modelo en tus propios benchmarks de programación para comparar su latencia y precisión frente a modelos MoE más grandes que usas actualmente.
• Revisa los detalles arquitectónicos, como la relación delgada y profunda y la implementación de NoPE global, para informar tus propias decisiones de diseño de modelos.
• Experimenta con el modelo en hardware con menor ancho de banda de memoria, como estaciones de trabajo locales, para evaluar su viabilidad de despliegue para aplicaciones de borde.
• Estudia la receta de RL reportada, específicamente el uso de datos sintéticos y muestreo de importancia truncado, para optimizar tus propios pipelines de post-entrenamiento.
• Monitorea la disponibilidad próxima en Fireworks para integrar el modelo en flujos de trabajo de inferencia basados en la nube si el alojamiento local no es viable.