IA ouverte et locale

Le compilateur LookAtMyQuant réduit la taille des modèles avec une perte de précision minimale

Un nouveau compilateur open source de quantification utilise des codes en treillis et l'information de Fisher pour compresser considérablement les grands modèles de langage tout en maintenant des scores élevés aux benchmarks.

Un cube en verre avec des couches de circuits se réduisant, représentant la compression de modèle.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

L'utilisateur GitHub ShinMegamiBoson a publié LookAtMyQuant, un compilateur open source de quantification qui obtient une divergence nettement inférieure par rapport aux modèles originaux comparé aux méthodes standard. Publié le 21 novembre 2026, ce projet démontre comment une compression ciblée peut réduire la taille des fichiers de plus de moitié sans sacrifier les capacités critiques de raisonnement. La version publiée inclut des benchmarks détaillés pour plusieurs modèles récents ainsi qu'un runtime dédié au matériel Apple Silicon.

Ce qui s'est passé

La réalisation principale de LookAtMyQuant est sa capacité à compresser des modèles comme Gemma 4 E2B dans des formats GGUF avec une divergence de Kullback-Leibler douze fois inférieure à celle de la méthode courante Q4_K_M, à taille de fichier identique. Le compilateur n'applique pas une compression uniforme sur l'ensemble du réseau. Il mesure plutôt l'impact de la compression de chaque composant spécifique et alloue les bits là où ils sont les plus importants. Cette approche permet aux développeurs d'intégrer des modèles plus grands et plus performants dans des environnements à mémoire contrainte sans la dégradation typique de la qualité des sorties.

Le projet introduit également LookAtMyQuant 2, une recette affinée qui a compressé Qwen3.5-4B à seulement 1,23 Go. Malgré cette réduction extrême à 2,3 bits par poids, le modèle a résolu 330 problèmes de mathématiques sur 540 à réponse exacte, égalant presque les performances de contreparties beaucoup plus grandes. Pour le modèle plus volumineux Qwen3.8-27B, le compilateur a réduit l'empreinte de 53,7 Go à 7,2 Go. Dans cette configuration, le modèle compressé a obtenu le même score que l'original sur les benchmarks de mathématiques complexes et a surpassé les autres versions quantifiées sur les tests de génération de code et de connaissances générales.

Comment cela fonctionne

LookAtMyQuant opère comme un outil de quantification post-entraînement qui traite la compression comme un problème d'optimisation. Il calcule l'information de Fisher pour chaque ligne de poids afin de déterminer sa sensibilité aux changements. Les lignes contribuant davantage à la précision de sortie du modèle reçoivent plus de bits, tandis que les lignes moins critiques sont comprimées plus agressivement. Le compilateur utilise des codes en treillis, qui sont des codes correcteurs d'erreurs efficaces, pour représenter les poids. Cette méthode garantit que la taille totale du fichier reste dans un budget strict tout en minimisant la distorsion globale du comportement du modèle.

Le processus implique plusieurs étapes distinctes. D'abord, le compilateur mesure la divergence KL causée par la compression de parties individuelles du modèle. Il crée ensuite un plan qui alloue les bits par ligne en fonction de l'importance calculée. Enfin, il effectue une étape de distillation où le modèle est affiné pendant des milliers d'étapes. Durant cette phase, chaque couche est requantifiée une fois à partir des poids originaux, aidant le modèle à s'adapter à la nouvelle représentation compressée. L'ensemble du pipeline est conçu pour être automatisé, avec des scripts disponibles pour exécuter chaque tâche sur une infrastructure GPU cloud.

Détails clés

  • Le compilateur a atteint une divergence KL 12× inférieure à celle de Q4_K_M pour Gemma 4 E2B à taille de fichier égale.
  • Qwen3.5-4B a été compressé à 1,23 Go, résolvant 330 des 540 problèmes de mathématiques, proche des 359 résolus par l'original.
  • Qwen3.8-27B a été réduit à 7,2 Go, égalant le score du modèle original sur le benchmark de mathématiques GSM8K.
  • Le modèle Inkling-2-Mini a été compressé en quatre variantes, la version de 12,8 Go égalant 100 % des scores de benchmark de l'enseignant.
  • Le runtime Apple Silicon prend en charge le décodage spéculatif, atteignant plus de 100 tokens par seconde sur les tâches médianes pour la build Inkling de 12,8 Go.
  • La recette complète pour Qwen3.5-4B a coûté environ 34 $ en temps GPU pour s'exécuter sur une infrastructure cloud.

Pourquoi c'est important

Pour les ingénieurs développant des applications IA locales, la bande passante mémoire et le stockage sont souvent les principaux goulots d'étranglement. Les méthodes traditionnelles de quantification, comme la conversion entière 4 bits ou 8 bits, sont faciles à implémenter mais entraînent souvent des baisses notables de la capacité de raisonnement, surtout pour des tâches complexes comme le codage ou les mathématiques. LookAtMyQuant offre une voie pour conserver des performances cognitives de haut niveau dans des modèles suffisamment petits pour tourner sur du matériel grand public. Cela permet à des agents plus sophistiqués d'opérer sur des ordinateurs portables et des périphériques edge sans dépendre d'une connectivité cloud constante.

La disponibilité du code sous licence MIT abaisse également la barrière à l'expérimentation. Les développeurs peuvent désormais appliquer ces techniques avancées de compression à leurs propres modèles affinés. En utilisant l'information de Fisher pour guider l'allocation des bits, les équipes peuvent créer des plans de quantification personnalisés qui priorisent les compétences spécifiques dont leur modèle a besoin, telles que la génération de code ou le support multilingue. Ce niveau de contrôle était auparavant réservé aux grands laboratoires de recherche disposant de ressources computationnelles significatives.

Ce que vous pouvez faire

  • Installez le runtime Apple Silicon via pip pour tester localement les modèles pré-compressés Qwen et Inkling.
  • Utilisez la commande lamq generate pour effectuer une inférence avec décodage spéculatif pour des temps de réponse plus rapides.
  • Exécutez le compilateur sur des modèles plus petits comme SmolLM2-360M pour comprendre le flux de travail de mesure et d'allocation.
  • Examinez les plans de lignes fournis pour voir comment les bits sont distribués entre différentes couches du réseau.
  • Adaptez les scripts modal_app.py pour exécuter la recette complète de quantification sur vos propres modèles en utilisant des GPUs cloud.
  • Comparez les métriques de divergence KL de vos méthodes actuelles de quantification avec la référence LookAtMyQuant.
  • #quantization
  • #llm
  • #compression
  • #apple silicon
  • #open source

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles