Passer au contenu principal
L’entraînement conscient de la quantification (QAT) permet d’obtenir des poids à faible précision qui conservent bien mieux la qualité qu’une simple conversion en 4 bits. Plutôt que de réduire d’un coup la taille d’un modèle achevé, le QAT simule la faible précision pendant l’entraînement, permettant ainsi aux poids d’apprendre à supporter l’arrondi avant toute conversion. Le bénéfice pour un déploiement local : un rendu quasi identique à la qualité originale avec seulement un quart de la VRAM requise. Cette page décrit le QAT, ses liens avec les fichiers GGUF que vous téléchargez déjà, ainsi que les points de contrôle QAT disponibles aujourd’hui. Pour comprendre les bases de la quantification et comment interpréter un nom tel que Q4_K_M, consultez d’abord Présentation de la quantification.

​
QAT contre quantification post-entraînement (PTQ)

Presque tous les modèles quantifiés que vous téléchargez sont produits via la quantification post-entraînement (PTQ) : on prend un modèle BF16 déjà terminé, on arrondit ses poids à un nombre de bits inférieur, puis on le distribue. Ce procédé est rapide et ne nécessite aucun nouveau entraînement ; toutefois, le modèle n’a jamais eu l’occasion de s’adapter à l’erreur d’arrondi, d’où une perte de précision plus marquée à mesure que le nombre de bits diminue. QAT inserts “fake quantization” into the training or fine-tuning loop. The forward pass rounds and clamps weights to the target bit-width but keeps them in floating point, and gradients (via a straight-through estimator) teach the model to stay accurate under that rounding before it’s actually cast to low precision. Because the weights were optimized to survive quantization, a QAT checkpoint beats a PTQ one at the same bit-width. Cette différence se mesure concrètement :
  • PyTorch’s own numbers on Llama 3-8B at 4-bit weights: QAT recovered 96% of the accuracy degradation on HellaSwag and 68% of the perplexity degradation on WikiText versus PTQ. (PyTorch blog)
  • Google’s Gemma 3 QAT int4 checkpoints cut the perplexity gap versus the non-quantized model by 54% compared to a naive Q4_0 conversion of the same model. (Google Developers blog)
Ce taux de récupération n’est pas constant : il dépend du modèle, du nombre de bits et du test utilisé. Considérez ces valeurs comme des indications générales quant à l’ampleur du phénomène, sans garantie pour tous les modèles.

​
Le QAT est une méthode, et non un format de fichier.

Une confusion fréquente concerne « QAT contre GGUF ». Il ne s’agit pas d’alternatives, car ces termes répondent à des questions différentes.
  • QAT et PTQ désignent la manière dont les poids à faible précision ont été générés (la méthode d’entraînement ou de quantification).
  • GGUF constitue le conteneur dans lequel les poids sont fournis pour les moteurs d’exécution basés sur llama.cpp (Ollama, LM Studio, Jan).
Un point de contrôle QAT peut tout à fait être exporté vers GGUF — et c’est d’ailleurs le cas en général. La publication de Google précise bien ce point dans sa dénomination : google/gemma-4-12B-it-qat-q4_0-gguf est un fichier GGUF dont les poids Q4_0 proviennent du processus QAT, contrairement à un simple fichier gemma-4-12b-it que Ollama a quantifié en Q4_0 via la technique PTQ classique. Le format et la largeur de bits restent identiques, mais les poids sont de bien meilleure qualité dans le premier cas. La comparaison pertinente est donc entre QAT et PTQ, et GGUF représente simplement le moyen par lequel l’un ou l’autre parvient à votre environnement d’exécution.

​
Gemma QAT : les points de contrôle à utiliser réellement pour l’exécution.

Google se distingue ici en affinant chaque modèle Gemma via le QAT puis en publiant ces versions prêtes à l’emploi sous forme de points de contrôle int4. Sur Ollama, ces modèles portent l’étiquette -it-qat. Concernant Gemma 4 (la génération actuelle — voir Gemma) : Les tailles indiquées proviennent de ollama.com/library/gemma4 ; vérifiez la liste actuelle des balises avant de choisir définitivement celle à utiliser. Google affirme que le processus QAT appliqué à Gemma 4 permet d’obtenir une qualité globale supérieure à celle des méthodes PTQ classiques. Le meilleur exemple est celui de Gemma 3 : le quantifiage int4 QAT a réduit la consommation de mémoire VRAM d’environ 3× — le modèle 27B est ainsi passé de ~54 Go en format BF16 à ~14 Go — tout en conservant une qualité proche de celle obtenue avec une précision maximale. C’est ce qui a permis aux modèles de classe 27B de fonctionner sur une seule carte graphique grand public.
Lorsqu’un modèle propose à la fois une balise QAT et une balise PTQ de même largeur de bits, il convient de privilégier la première : elle offre une meilleure qualité pour un volume de données identique, sans surcoût lors de l’inférence. Le coût du quantifiage QAT ne se manifeste qu’une seule fois, lors de la phase d’entraînement.

​
Personnaliser son propre modèle QAT

Le quantifiage QAT ne s’applique pas uniquement aux modèles fournis par les éditeurs. Unsloth, en collaboration avec l’équipe TorchAO de PyTorch, a intégré cette technique à sa bibliothèque de personnalisation : il suffit de spécifier un paramètre qat_scheme (int4, int8-int4, fp8-int4 ou fp8-fp8) pour activer la quantification fictive durant les phases de fine-tuning et de création de LoRA, puis d’exporter le modèle au format à faible nombre de bits. Selon Unsloth, cette approche permet de récupérer environ ~70% de la précision perdue lors d’une quantification classique, sans augmenter la charge de calcul à l’inférence ni modifier l’espace disque requis. This is the practical path for the popular open models that don’t ship official QAT checkpoints — Qwen, for example, has no first-party QAT release, but its models are a common base for community QAT recipes built on Unsloth and TorchAO. If you fine-tune and serve your own QAT model, serve your fine-tune covers exporting it to a runtime, and Tokios connects it from there.

​
Exécuter son modèle QAT depuis n’importe où

Le quantifiage QAT permet d’obtenir un modèle de haute qualité adapté à vos ressources matérielles. Une fois le modèle lancé localement — sur Ollama, LM Studio, vLLM ou llama.cpp — il reste à le rendre accessible à vos agents, applications et collaborateurs sans exposer l’adresse localhost.

Attribuez-lui un point de terminaison stable

Tokios ne sélectionne ni n’héberge le modèle, ni ne s’occupe de sa personnalisation. Une fois votre modèle QAT opérationnel en local, Tokios le transforme en un point de terminaison sécurisé et authentifié situé à l’adresse https://api.tokios.com, que vous pouvez interroger depuis n’importe quel endroit.

​
Pour aller plus loin

Explication de la quantification

Principe de la quantification et manière de lire les noms des fichiers GGUF tels que Q4_K_M.

Exécution locale de Gemma

Tailles des fichiers de Gemma 4, compatibilité matérielle et types de quantification -it-qat disponibles.

Quantification et matériel

Quels formats de poids — GGUF, NVFP4, MXFP4, AWQ, MLX — sont compatibles avec votre matériel.

Quelle taille de modèle convient à votre GPU ?

Vérifiez la compatibilité entre un modèle et un format de quantification avant de procéder au téléchargement.