Arquitectura de DeepSeek V3 implementada en 190 líneas de JAX
Un desarrollador recreó la arquitectura de DeepSeek V3 en JAX puro, entrenando un modelo de 36M de parámetros en una MacBook Air para demostrar mecanismos clave como MLA y MoE.
Traducido automáticamente del original en inglés.
Vaibhaav Tiwari ha publicado una implementación de código abierto de la arquitectura DeepSeek V3 utilizando únicamente 190 líneas de código JAX puro. El proyecto, publicado en GitHub en noviembre de 2026, demuestra que las estructuras complejas de los grandes modelos de lenguaje modernos pueden entenderse y ejecutarse en hardware de consumo sin necesidad de frameworks pesados. Al eliminar bibliotecas como PyTorch, Flax o Equinox, esta implementación ofrece una visión transparente de cómo funcionan componentes como Multi-head Latent Attention y Mixture of Experts a nivel fundamental.
Qué ocurrió
El núcleo de este lanzamiento es un único archivo Python, deepseek_v3.py, que contiene toda la definición del modelo. Tiwari entrenó este modelo desde cero en una MacBook Air equipada con un chip M5 y 24 GB de memoria. Los datos de entrenamiento consistieron en 207 libros de ficción detectivesca de dominio público, sumando aproximadamente 21,7 millones de tokens. Esta elección de conjunto de datos garantiza claridad legal mientras proporciona una estructura lingüística coherente para el aprendizaje del modelo.
El proceso de entrenamiento duró 12.000 pasos, procesando unos 98 millones de tokens durante aproximadamente 2,6 horas. El modelo resultante contiene 36,2 millones de parámetros, con 13,6 millones activos por token debido a su enrutamiento de expertos disperso. A pesar de su pequeña escala en comparación con los modelos industriales, la implementación replica con éxito las innovaciones arquitectónicas descritas en el informe técnico original de DeepSeek-V3. El proyecto incluye no solo el código, sino también el checkpoint entrenado, el tokenizador y scripts para reproducir los resultados o generar nuevo texto.
Cómo funciona
La implementación se basa en funciones simples de JAX y diccionarios de arrays, evitando cualquier abstracción de alto nivel. Este enfoque permite a los ingenieros leer el código de arriba a abajo y comprender exactamente cómo fluyen los datos a través de la red. Las características arquitectónicas clave incluyen Multi-head Latent Attention (MLA), que comprime las cachés de clave-valor para ahorrar memoria, y DeepSeekMoE, que utiliza una combinación de expertos compartidos y enrutados para manejar el cómputo eficientemente.
Un mecanismo notable es la estrategia de balanceo libre de pérdida auxiliar. En lugar de usar un término de pérdida complejo para forzar a los expertos a compartir la carga equitativamente, el modelo aplica un sesgo por experto que empuja el enrutamiento hacia los expertos inactivos. Esto cambia qué expertos se seleccionan para un token dado sin alterar sus pesos. El código también implementa Multi-token Prediction (MTP), donde un módulo adicional predice el token siguiente al próximo, ayudando a estabilizar el entrenamiento. Todos los cálculos utilizan precisión bfloat16 sobre pesos maestros float32, asegurando estabilidad numérica durante los pasos de actualización.
Detalles clave
- Tamaño del código base: La lógica central del modelo cabe en 190 líneas de JAX puro, excluyendo espacios en blanco y comentarios.
- Requisitos de hardware: El entrenamiento se realizó en una MacBook Air M5 con 24 GB de RAM, alcanzando ~10,7k tokens/s.
- Escala del modelo: 36,2 millones de parámetros totales, con 13,6 millones activos por token mediante enrutamiento disperso.
- Datos de entrenamiento: 21,7 millones de tokens extraídos de 207 novelas policíacas y de detectives de dominio público.
- Rendimiento: La pérdida de validación disminuyó de 5,02 a 3,51 tras 12.000 pasos.
- Eficacia del balanceo: La carga de los expertos varió entre 5,7–6,9% con sesgo, comparado con 0,09–18,6% sin él.
Por qué importa
Para desarrolladores de software e ingenieros de ML, este proyecto sirve como una herramienta educativa de alta fidelidad. Las arquitecturas LLM modernas suelen estar oscurecidas por bases de código masivas e infraestructura propietaria, lo que dificulta comprender cómo funcionan innovaciones específicas como MLA o embeddings rotatorios desacoplados. Al reducir la implementación a sus operaciones matemáticas esenciales, Tiwari proporciona una referencia que desmitifica estos conceptos. Los ingenieros pueden inspeccionar el código para ver exactamente cómo se maneja el almacenamiento en caché o cómo se actualizan los sesgos de enrutamiento, cerrando la brecha entre los papers teóricos y la implementación práctica.
Además, la capacidad de entrenar una arquitectura representativa en un portátil desafía la suposición de que la experimentación significativa requiere recursos a escala de clúster. Aunque el modelo resultante no compite con los sistemas de vanguardia, demuestra que la integridad estructural de diseños avanzados puede validarse en hardware de consumo. Esto reduce la barrera de entrada para investigadores y estudiantes que desean experimentar con modificaciones arquitectónicas, como cambiar el número de expertos o ajustar los mecanismos de atención, sin necesitar acceso a costosa computación en la nube.
Qué puedes hacer
- Clona el repositorio e instala las dependencias fijadas usando
uvpara asegurar la compatibilidad conjax-metal. - Ejecuta las pruebas proporcionadas para verificar que tu entorno soporta las operaciones necesarias de JAX en Apple Silicon.
- Ejecuta el script de preparación de datos para descargar y tokenizar el corpus de dominio público, o descarga los binarios preprocesados para una reproducibilidad exacta.
- Entrena el modelo localmente usando la configuración por defecto o la configuración más pequeña para máquinas con menos memoria.
- Genera muestras de texto usando el checkpoint proporcionado para observar la salida del modelo ante prompts de ficción detectivesca.
- Estudia el archivo
deepseek_v3.pylínea por línea para entender la implementación de MLA, el enrutamiento MoE y la predicción multi-token.



