El compilador LookAtMyQuant reduce el tamaño del modelo con una pérdida mínima de precisión
Un nuevo compilador de cuantización de código abierto utiliza códigos en retícula e información de Fisher para comprimir significativamente los grandes modelos de lenguaje manteniendo altas puntuaciones en pruebas de referencia.
Traducido automáticamente del original en inglés.
El usuario de GitHub ShinMegamiBoson ha lanzado LookAtMyQuant, un compilador de cuantización de código abierto que logra una divergencia sustancialmente menor respecto a los modelos originales en comparación con los métodos estándar. Publicado el 21 de noviembre de 2026, el proyecto demuestra cómo la compresión dirigida puede reducir el tamaño de los archivos en más de la mitad sin sacrificar las capacidades críticas de razonamiento. La versión incluye benchmarks detallados para varios modelos recientes y un entorno de ejecución dedicado para hardware Apple Silicon.
Qué ha ocurrido
El logro principal de LookAtMyQuant es su capacidad para comprimir modelos como Gemma 4 E2B en formatos GGUF con una divergencia de Kullback-Leibler doce veces menor que el método común Q4_K_M al mismo tamaño de archivo. El compilador no aplica una compresión uniforme en toda la red. En cambio, mide el impacto de comprimir cada componente específico y asigna bits donde son más necesarios. Este enfoque permite a los desarrolladores integrar modelos más grandes y capaces en entornos de memoria limitada sin la típica degradación en la calidad de salida.
El proyecto también introduce LookAtMyQuant 2, una receta refinada que comprimió Qwen3.5-4B a solo 1.23 GB. A pesar de esta reducción extrema a 2.3 bits por peso, el modelo resolvió 330 de 540 problemas matemáticos de respuesta exacta, igualando casi el rendimiento de contrapartes mucho más grandes. Para el modelo más grande Qwen3.8-27B, el compilador redujo la huella de 53.7 GB a 7.2 GB. En esta configuración, el modelo comprimido igualó la puntuación del original en benchmarks matemáticos complejos y superó a otras versiones cuantizadas en generación de código y pruebas de conocimiento general.
Cómo funciona
LookAtMyQuant opera como una herramienta de cuantización post-entrenamiento que trata la compresión como un problema de optimización. Calcula la información de Fisher para cada fila de pesos para determinar su sensibilidad a los cambios. Las filas que contribuyen más a la precisión de la salida del modelo reciben más bits, mientras que las filas menos críticas se comprimen de manera más agresiva. El compilador utiliza códigos en retícula, que son códigos eficientes de corrección de errores, para representar los pesos. Este método garantiza que el tamaño total del archivo permanezca dentro de un presupuesto estricto mientras minimiza la distorsión general del comportamiento del modelo.
El proceso implica varias etapas distintas. Primero, el compilador mide la divergencia KL causada por comprimir partes individuales del modelo. Luego crea un plan que asigna bits por fila basándose en la importancia calculada. Finalmente, realiza una etapa de destilación donde el modelo se ajusta finamente durante miles de pasos. Durante esta fase, cada capa se recuantiza una vez desde los pesos originales, ayudando al modelo a adaptarse a la nueva representación comprimida. Todo el pipeline está diseñado para ser automatizado, con scripts disponibles para ejecutar cada tarea en infraestructura de GPU en la nube.
Detalles clave
- El compilador logró una divergencia KL 12× menor que Q4_K_M para Gemma 4 E2B al mismo tamaño de archivo.
- Qwen3.5-4B fue comprimido a 1.23 GB, resolviendo 330 de 540 problemas matemáticos, cerca de los 359 del original.
- Qwen3.8-27B fue reducido a 7.2 GB, igualando la puntuación del modelo original en el benchmark matemático GSM8K.
- El modelo Inkling-2-Mini fue comprimido en cuatro variantes, con la versión de 12.8 GB igualando el 100% de las puntuaciones de benchmark del maestro.
- El entorno de ejecución para Apple Silicon admite decodificación especulativa, alcanzando más de 100 tokens por segundo en tareas medianas para la compilación de 12.8 GB de Inkling.
- La receta completa para Qwen3.5-4B costó aproximadamente $34 en tiempo de GPU para ejecutarse en infraestructura en la nube.
Por qué importa
Para los ingenieros que construyen aplicaciones de IA locales, el ancho de banda de memoria y el almacenamiento suelen ser los principales cuellos de botella. Los métodos tradicionales de cuantización, como la conversión a enteros de 4 o 8 bits, son fáciles de implementar pero a menudo resultan en caídas notables en la capacidad de razonamiento, especialmente en tareas complejas como programación o matemáticas. LookAtMyQuant ofrece una vía para mantener un alto rendimiento cognitivo en modelos lo suficientemente pequeños para ejecutarse en hardware de consumo. Esto permite que agentes más sofisticados operen en portátiles y dispositivos edge sin depender de una conectividad constante a la nube.
La disponibilidad del código bajo la licencia MIT también reduce la barrera para la experimentación. Los desarrolladores ahora pueden aplicar estas técnicas avanzadas de compresión a sus propios modelos ajustados finamente. Al usar la información de Fisher para guiar la asignación de bits, los equipos pueden crear planes de cuantización personalizados que prioricen las habilidades específicas que necesita su modelo, como la generación de código o el soporte multilingüe. Este nivel de control estaba reservado previamente para grandes laboratorios de investigación con recursos computacionales significativos.
Qué puedes hacer
- Instala el entorno de ejecución para Apple Silicon usando pip para probar localmente los modelos precomprimidos Qwen e Inkling.
- Usa el comando
lamq generatepara ejecutar inferencia con decodificación especulativa para tiempos de respuesta más rápidos. - Ejecuta el compilador en modelos más pequeños como SmolLM2-360M para entender el flujo de trabajo de medición y asignación.
- Examina los planes de fila proporcionados para ver cómo se distribuyen los bits entre diferentes capas de la red.
- Adapta los scripts
modal_app.pypara ejecutar la receta de cuantización completa en tus propios modelos usando GPUs en la nube. - Compara las métricas de divergencia KL de tus métodos actuales de cuantización contra la línea base de LookAtMyQuant.



