Edge0-145B lleva la IA de 145 mil millones de parámetros a los portátiles locales
El nuevo modelo de código abierto Edge0-145B se ejecuta en hardware personal con un uso máximo de memoria de 29 GB, lo que permite realizar tareas complejas de programación y razonamiento sin depender de la nube.
Traducido automáticamente del original en inglés.
El lanzamiento de Edge0-145B marca un cambio significativo en las capacidades de inteligencia artificial local al hacer posible ejecutar un modelo de 145 mil millones de parámetros en portátiles personales. Publicado el 12 de noviembre de 2026, esta iniciativa de código abierto incluye los pesos del modelo, un marco de inferencia unificado y herramientas de despliegue diseñadas para eliminar la tradicional compensación entre el tamaño del modelo y el rendimiento en el dispositivo. Este desarrollo permite a los desarrolladores ejecutar flujos de trabajo complejos de codificación, razonamiento y agentes de forma local, evitando la necesidad de conectividad continua a la nube o costosas tarifas de API.
Qué ha ocurrido
Durante años, ejecutar modelos de lenguaje grandes en hardware personal requería sacrificar ya sea la capacidad del modelo o los recursos del sistema. Los modelos más pequeños a menudo tenían dificultades con tareas lógicas complejas, mientras que los modelos más grandes exigían infraestructura de nivel servidor debido a sus inmensos requisitos de memoria y ancho de banda. El lanzamiento de Edge0-145B desafía este statu quo al demostrar que un modelo con 145 mil millones de parámetros puede operar eficazmente en un portátil compatible, como un MacBook Pro, con un uso máximo de memoria reportado de solo 29 GB. Esto se acompaña del lanzamiento de Edge0-120B, que ofrece otro nivel de rendimiento para el despliegue local.
El proyecto aborda cuatro restricciones principales que históricamente han limitado la IA en dispositivos. Primero, resuelve la barrera del hardware permitiendo que los modelos grandes funcionen sin servidores. Segundo, garantiza que estos modelos locales no sacrifiquen capacidad, ofreciendo resultados de codificación y razonamiento que compiten con los modelos de frontera en la nube. Tercero, admite flujos de trabajo agénticos donde el asistente planifica, escribe código, depura errores y verifica visualmente los resultados para proyectos como escenas 3D o diseños de PCB. Finalmente, elimina la dependencia de los proveedores de nube, permitiendo que los datos permanezcan en el dispositivo y asegurando que las capacidades principales funcionen sin conexión.
Este lanzamiento proporciona la pila completa para los desarrolladores, incluidos los pesos del modelo y los marcos de inferencia, lo que les permite reproducir resultados, ajustar finamente los modelos o integrarlos directamente en sus productos. La aplicación Edge0 App adjunta ofrece una manera de probar estas capacidades inmediatamente. Al publicar estas herramientas como código abierto, los creadores buscan acelerar la adopción de IA local de alto rendimiento en diversas configuraciones de hardware.
Cómo funciona
La capacidad de ejecutar un modelo de 145 mil millones de parámetros en hardware de consumo depende de un co-diseño de la arquitectura del modelo y el motor de inferencia. La arquitectura utiliza un enfoque de expertos dispersos donde matrices grandes se comparten entre grupos de expertos. Específicamente, cada grupo de 64 expertos comparte dos matrices grandes, manteniendo parámetros únicos pequeños para las diferencias individuales. Aunque el conteo total de parámetros es de 145 mil millones, solo aproximadamente 10 mil millones de parámetros participan en el cálculo durante cualquier paso individual de inferencia. Este diseño reduce significativamente la cantidad de datos de pesos que deben almacenarse y moverse durante la operación.
El entrenamiento se realizó teniendo en cuenta desde el principio las restricciones de ejecución local, en lugar de tratar el despliegue en el dispositivo como una ocurrencia tardía que implicaba compresión post-entrenamiento. El motor de inferencia optimiza aún más el rendimiento mediante la canalización del acceso a la memoria en tres niveles: memoria de GPU, memoria del sistema y almacenamiento SSD. Los "expertos calientes" de uso frecuente permanecen en la memoria de la GPU, mientras que una biblioteca de aproximadamente 40 GB de expertos reside en la memoria del sistema, lista para cargarse según sea necesario. Los datos de vocabulario, que suman alrededor de 48 GB, se leen bajo demanda desde el SSD. Esta superposición de lectura y cálculo evita esperas seriales que típicamente crean cuellos de botella en la inferencia de modelos grandes.
La planificación juega un papel crítico al utilizar tanto la CPU como la GPU en paralelo. La GPU maneja los cálculos para los expertos en caché, mientras que la CPU gestiona la carga de trabajo restante. El sistema también emplea decodificación especulativa, que verifica múltiples tokens candidatos simultáneamente. Esta técnica distribuye el costo de lectura de pesos entre más tokens de salida, contribuyendo a la velocidad de decodificación reportada de más de 80 tokens por segundo. Estas estrategias combinadas permiten al modelo sostener contextos largos de 128K a 256K tokens sin una degradación significativa de la velocidad.
Detalles clave
- Tamaño del modelo: Edge0-145B contiene 145 mil millones de parámetros, y Edge0-120B también se lanzó como parte de la suite.
- Uso de memoria: El modelo requiere un pico de memoria de 29 GB en portátiles compatibles, una reducción significativa en comparación con las expectativas tradicionales para modelos de esta escala.
- Velocidad de rendimiento: Logra más de 1.100 tokens por segundo para el prellenado de prompts y mantiene una velocidad de decodificación de más de 80 tokens por segundo.
- Consumo de energía: El uso típico de energía es de aproximadamente 120 W, lo que permite un funcionamiento sostenido sin estrangulamiento en las configuraciones probadas.
- Puntuaciones de referencia: El modelo obtiene 64,6 en DeepSWE 1.1 para codificación, 90,4 en GPQA-Diamond para razonamiento y 80,6 en IFBench para seguimiento de instrucciones.
- Ventana de contexto: Admite tareas de contexto largo con una ventana de 128K a 256K tokens, manteniendo una velocidad consistente durante interacciones extendidas.
Por qué importa
Para ingenieros de software y fundadores técnicos, este lanzamiento elimina varias barreras para construir aplicaciones de IA centradas en la privacidad y capaces de funcionar sin conexión. La posibilidad de ejecutar un modelo con capacidades de razonamiento de nivel de frontera en un portátil significa que los datos sensibles, como bases de código propietarias o documentos internos, nunca necesitan salir del entorno local. Esto elimina las complejidades legales y de seguridad asociadas con enviar datos a proveedores de nube de terceros. Además, la ausencia de tarifas recurrentes de API hace económicamente viable desplegar agentes de IA que realizan extensas tareas en segundo plano, como depuración o generación de activos visuales complejos, sin preocuparse por los costos de tokens.
Las métricas de rendimiento sugieren que la IA local ya no está limitada a chatbots simples o tareas básicas de resumen. Con puntuaciones competitivas en referencias de codificación y razonamiento, los desarrolladores pueden confiar en Edge0-145B para asistencia sustancial de ingeniería. La capacidad del modelo para planificar, ejecutar y verificar código localmente abre nuevas posibilidades para entornos de desarrollo integrados y agentes de codificación autónomos. Este cambio empodera a los equipos para construir herramientas más robustas y autocontenidas que no dependen de la estabilidad de la red ni de la disponibilidad de servicios externos.
Qué puedes hacer
- Descarga los pesos de los modelos Edge0-145B y Edge0-120B desde el repositorio oficial de código abierto.
- Instala el marco de inferencia unificado para probar el rendimiento del modelo en tu configuración de hardware específica.
- Evalúa las capacidades de codificación del modelo ejecutándolo contra tu base de código existente para tareas de depuración o refactorización.
- Experimenta con las funciones agénticas configurando flujos de trabajo locales que impliquen planificación y verificación visual para proyectos como desarrollo de videojuegos o diseño de hardware.
- Ajusta finamente el modelo con tus conjuntos de datos propietarios para crear asistentes especializados que permanezcan completamente on-premise.
- Integra las herramientas de despliegue en tu pipeline de producto para ofrecer a los usuarios una experiencia de IA offline de alto rendimiento.



