La quantification expliquée

La quantification réduit la taille d’un modèle en stockant ses poids avec une précision numérique inférieure, échangeant une petite perte de qualité contre une empreinte mémoire beaucoup plus réduite et souvent une inférence plus rapide. C’est le levier le plus important dont vous disposez pour déterminer si un modèle peut s’exécuter sur votre matériel.

​

Pourquoi cela fonctionne

Les poids d’un modèle ne sont que des nombres. Les modèles entraînés sont généralement publiés avec une précision de 16 bits (FP16 ou BF16) — soit 2 octets par paramètre. La quantification arrondit ces nombres vers le bas pour utiliser moins de bits : la précision 8 bits utilise 1 octet par paramètre, et la précision 4 bits (Q4) utilise environ la moitié d’un octet. Moins de bits par poids signifie moins de données à stocker et moins de données à déplacer dans la mémoire à chaque jeton généré, ce qui explique pourquoi les modèles quantifiés sont à la fois plus petits et souvent plus rapides à exécuter — rappelez-vous de Comment fonctionne l’inférence que la vitesse de décodage est limitée par la vitesse à laquelle les poids traversent la mémoire, et non par la puissance de calcul brute. Le compromis est la perte de précision. Arrondir les poids à moins de bits introduit de petites erreurs qui s’accumulent à travers les couches du modèle, ce qui peut affecter de manière mesurable la qualité de la sortie aux niveaux de quantification agressifs. Pour les chiffres exacts en octets par paramètre et les calculs de dimensionnement qui en découlent, consultez Mémoire et délestage.

​

Lire les noms de quantification GGUF

Les fichiers distribués pour les backends basés sur llama.cpp (y compris Ollama et LM Studio) utilisent le format GGUF, et les variantes quantifiées suivent une convention de nommage documentée dans le README de quantification de llama.cpp et la spécification du format GGUF. Un nom de fichier typique ressemble à Qwen3-8B-Instruct-Q4_K_M.gguf — le dernier segment avant .gguf indique la quantification. Les noms de quantification vont approximativement de Q2_K (le plus petit, qualité la plus faible) à Q8_0 (le plus grand, quasi sans perte) : Ainsi, Q4_K_M se décode comme : 4 bits, famille K-quant, variante moyenne. Le GGUF Q4_K_M est une précision mixte qui se moyenne à environ 0.5–0.56 octets par paramètre en pratique — et non 4 bits plats sur chaque tenseur.

​

Le compromis taille/qualité

Chaque étape vers le bas en quantification économise de la mémoire et gagne souvent un peu de vitesse, au prix d’une certaine qualité de sortie. La relation n’est pas linéaire — la qualité tend à bien résister jusqu’à environ 4 bits, puis se dégrade plus notablement en dessous :

• Q8_0 : Très proche de la qualité complète de 16 bits. À utiliser lorsque vous avez de la VRAM à revendre et que vous souhaitez la marge de sécurité qualité la plus élevée.
• Q4_K_M : La valeur par défaut courante. Bon équilibre entre taille et qualité pour la plupart des usages généraux.
• Q2_K–Q3_K : Les plus petits, les plus respectueux de la VRAM, mais avec une qualité nettement inférieure — à réserver aux cas où rien d’autre ne tient.

​

Quelle quantification choisir ?

En règle générale : commencez par Q4_K_M. C’est la valeur par défaut mise en avant par la plupart des dépôts de modèles pour une raison — elle s’adapte confortablement au matériel grand public tout en restant proche de la qualité de sortie à précision complète pour la plupart des tâches. À partir de là :

• Montez (Q5_K_M, Q6_K, Q8_0) si votre VRAM a de la marge après avoir pris en compte le cache KV à votre longueur de contexte cible.
• Descendez (Q3_K, Q2_K) uniquement si Q4_K_M ne tient vraiment pas et que vous n’avez pas d’autre option — attendez-vous à une baisse notable de la qualité, en particulier sur les tâches de raisonnement intensif ou de codage.

Utilisez le guide d’adaptation des modèles sur GPU pour vérifier si une combinaison modèle-et-quantification donnée s’adapte à votre matériel avant de la télécharger.

​

Entraînement conscient de la quantification (QAT)

Tout ce qui précède décrit la quantification post-entraînement (PTQ) — quantifier un modèle fini en une seule fois. L’entraînement conscient de la quantification (QAT) simule au contraire une faible précision pendant l’entraînement, de sorte que les poids apprennent à tolérer l’arrondi et à maintenir mieux la qualité à la même largeur de bits. Google fournit des points de contrôle QAT pour Gemma sous une balise -it-qat — par exemple ollama run gemma4:12b-it-qat — qui restent proches de la qualité à précision complète avec environ un quart de la VRAM BF16. Un point de contrôle QAT est toujours distribué au format GGUF : le QAT est la manière dont les poids ont été créés, et non un format différent.

​

Approfondir

​

Une fois que vous avez choisi une quantification et qu’elle s’exécute

Choisir une quantification permet à un modèle de s’adapter et de bien s’exécuter sur votre matériel. Une fois qu’il répond aux requêtes localement, l’étape suivante consiste à y accéder depuis un autre endroit que cette seule machine.