Zum Hauptinhalt springen
Quantisierungs-optimiertes Training (QAT) erzeugt Gewichte mit geringer Bitbreite, die die Modellqualität deutlich besser bewahren als eine gewöhnliche 4-Bit-Umwandlung. Anstatt ein fertiges Modell auf einen Schlag zu verkleinern, simuliert QAT die niedrige Präzision während des Trainings, sodass die Gewichte bereits vor der eigentlichen Konvertierung lernen, Rundungsfehler zu tolerieren. Der Vorteil für lokale Ausführungen: Nahezu vollständig erhaltene Modellqualität bei nur etwa einem Viertel des VRAM-Bedarfs. Auf dieser Seite wird erläutert, was QAT ist, wie es mit den GGUF-Dateien zusammenhängt, die Sie bereits heruntergeladen haben, sowie welche QAT-Prüfpunkte Sie derzeit ausführen können. Um die Grundlagen der Quantisierung sowie die Bedeutung von Bezeichnungen wie Q4_K_M zu verstehen, lesen Sie zunächst Quantisierung erklärt.

​
QAT im Vergleich zur Post-Training-Quantisierung (PTQ)

Fast alle heruntergeladenen quantisierten Modelle entstanden mittels Post-Training-Quantisierung (PTQ): Man nimmt ein fertiges BF16-Modell, rundet dessen Gewichte auf weniger Bits ab und stellt es bereit. Dieser Prozess ist schnell und erfordert kein erneutes Training – doch das Modell hatte nie die Gelegenheit, sich an Rundungsfehler anzupassen, weshalb die Genauigkeit bei sinkender Bitbreite stärker abnimmt. QAT inserts “fake quantization” into the training or fine-tuning loop. The forward pass rounds and clamps weights to the target bit-width but keeps them in floating point, and gradients (via a straight-through estimator) teach the model to stay accurate under that rounding before it’s actually cast to low precision. Because the weights were optimized to survive quantization, a QAT checkpoint beats a PTQ one at the same bit-width. Dieser Unterschied ist messbar:
  • PyTorch’s own numbers on Llama 3-8B at 4-bit weights: QAT recovered 96% of the accuracy degradation on HellaSwag and 68% of the perplexity degradation on WikiText versus PTQ. (PyTorch blog)
  • Google’s Gemma 3 QAT int4 checkpoints cut the perplexity gap versus the non-quantized model by 54% compared to a naive Q4_0 conversion of the same model. (Google Developers blog)
Der Ausmaß der Wiederherstellung ist kein starrer Wert – er hängt vom Modell, der Bitbreite sowie dem Benchmark ab. Die oben genannten Zahlen dienen lediglich als grobe Orientierung und stellen keine universelle Garantie dar.

​
QAT ist eine Methode und kein Dateiformat.

Häufig entsteht Verwirrung bezüglich „QAT im Vergleich zu GGUF“. Dabei handelt es sich nicht um Alternativen – sie beantworten vielmehr unterschiedliche Fragen.
  • QAT sowie PTQ beschreiben wie die Gewichte mit geringer Bitbreite erzeugt wurden – also die jeweiligen Trainings- bzw. Quantisierungsverfahren.
  • GGUF is the container the weights ship in for llama.cpp-based runtimes (Ollama, LM Studio, Jan).
Ein QAT-Checkpoint lässt sich ebenfalls in das Format GGUF exportieren – und das geschieht meist auch. Googles Benennungskonvention verdeutlicht dies: google/gemma-4-12B-it-qat-q4_0-gguf ist eine GGUF-Datei, deren Q4_0-Gewichte mittels QAT erstellt wurden; im Gegensatz dazu existiert ein gewöhnlicher gemma-4-12b-it, den Ollama via PTQ in das Format Q4_0 umgewandelt hat. Das Format sowie die Bitbreite sind identisch – lediglich die Gewichte weisen höhere Genauigkeit auf. Die eigentliche Gegenüberstellung lautet also QAT gegenüber PTQ, während GGUF lediglich angibt, wie die jeweilige Methode in die Laufzeitumgebung gelangt.

​
Gemma QAT: die Checkpoints, die tatsächlich zum Ausführen genutzt werden können.

Google zeichnet sich hier besonders aus: Das Unternehmen führt für jedes Gemma-Modell eine QAT-Optimierung durch und stellt die Ergebnisse als direkt nutzbare int4-Checkpoints bereit. Auf Ollama tragen diese Checkpoints den -it-qat-Tag. Bei Gemma 4 – der aktuellen Generation (siehe Gemma) – gilt Folgendes: Die angegebenen Größen stammen von ollama.com/library/gemma4; prüfen Sie dort die aktuelle Liste der Tags, bevor Sie sich für ein bestimmtes entscheiden. Google gibt an, dass Gemma 4 QAT eine „höhere Gesamtqualität als herkömmliche PTQ-Verfahren“ erzielt. Ein gut dokumentiertes Beispiel ist Gemma 3: Bei int4 QAT verringerte sich der VRAM-Bedarf um etwa 3× – der 27B-Modelltyp schrumpfte von ~54 GB im BF16-Format auf ~14 GB – wobei die Qualität nahezu auf dem Niveau der vollen Genauigkeit blieb; genau das ermöglichte es 27B-Klasse-Modellen, auf einzelnen Consumer-GPUs zu laufen.
Falls ein Upstream-Modell sowohl ein QAT-Tag als auch ein PTQ-Tag mit gleicher Bitbreite anbietet, sollte man QAT bevorzugen: Man erhält bessere Qualität bei identischer Größe und ohne zusätzliche Kosten beim Inferenzprozess. Die Kosten für QAT entstehen lediglich während des Trainings.

​
Selbstentwicklung eines QAT-Modells durch Feinabstimmung

QAT ist nicht ausschließlich für von Herstellern bereitgestellte Checkpoints gedacht. Unsloth (in Zusammenarbeit mit dem TorchAO-Team von PyTorch) integrierte QAT in seine Feinabstimmungsbibliothek: Geben Sie einen qat_scheme (int4, int8-int4, fp8-int4 oder fp8-fp8) an, damit die fiktive Quantisierung während des LoRA- oder Feinabstimmungsprozesses aktiv wird; anschließend lässt sich das Modell in ein Low-Bit-Format exportieren. Unsloth berichtet, dass dadurch bis zu ~70% der durch herkömmliche Quantisierung verlorenen Genauigkeit zurückgewonnen wird – ohne zusätzlichen Overhead beim Inferenzprozess und mit identischem Speicherbedarf wie bei normaler Quantisierung. This is the practical path for the popular open models that don’t ship official QAT checkpoints — Qwen, for example, has no first-party QAT release, but its models are a common base for community QAT recipes built on Unsloth and TorchAO. If you fine-tune and serve your own QAT model, serve your fine-tune covers exporting it to a runtime, and Tokios connects it from there.

​
Ihr QAT-Modell von überall aus nutzen

Dank QAT lässt sich ein hochwertiges Modell auf die Hardware anpassen, die Sie bereits besitzen. Sobald es lokal läuft – etwa unter Ollama, LM Studio, vLLM oder llama.cpp – geht es darum, es von Agenten, Apps und Teammitgliedern aus zu nutzen, ohne localhost preiszugeben.

Ein stabiler Endpunkt für das Modell

Tokios wählt, hostet oder feinabstimmt das Modell nicht; sobald Ihr QAT-Checkpoint lokal läuft, verwandelt Tokios ihn in einen stabilen, authentifizierten Endpunkt unter https://api.tokios.com, den Sie von überall aus aufrufen können.

​
Weitere vertiefende Informationen

Einführung in die Quantisierung

Die Funktionsweise der Quantisierung sowie die richtige Lesart von GGUF-Bezeichnungen wie Q4_K_M.

Gemma lokal ausführen

Die Größen von Gemma 4, die Kompatibilität mit verschiedenen Hardware-Konfigurationen sowie die verfügbaren -it-qat-Quantisierungen.

Quantisierung und Hardware

Welche Gewichtsformate – GGUF, NVFP4, MXFP4, AWQ, MLX – mit Ihrer Hardware kompatibel sind.

Welche Modellgröße passt zu Ihrer GPU?

Prüfen Sie vor dem Download, ob die Kombination aus Modell und Quantisierung zu Ihrer Hardware passt.