Quantisierung erklärt

Quantisierung verkleinert ein Modell, indem seine Gewichte mit geringerer numerischer Präzision gespeichert werden. Dabei wird ein kleiner Qualitätsverlust gegen einen deutlich geringeren Speicherbedarf und oft schnellere Inferenz getauscht. Es ist der wichtigste Hebel, um zu bestimmen, ob ein Modell überhaupt auf Ihrer Hardware läuft.

​

Warum es funktioniert

Die Gewichte eines Modells sind einfach nur Zahlen. Trainierte Modelle werden üblicherweise in 16-Bit-Präzision (FP16 oder BF16) veröffentlicht — das sind 2 Byte pro Parameter. Quantisierung rundet diese Zahlen auf weniger Bits herunter: 8-Bit verwendet 1 Byte pro Parameter, und 4-Bit (Q4) verwendet etwa die Hälfte eines Bytes. Weniger Bits pro Gewicht bedeuten weniger zu speichernde Daten und weniger Daten, die bei der Generierung jedes Tokens durch den Speicher bewegt werden müssen. Deshalb sind quantisierte Modelle sowohl kleiner als auch oft schneller in der Ausführung — denken Sie an Wie Inferenz funktioniert: Die Dekodiergeschwindigkeit ist durch die Geschwindigkeit begrenzt, mit der Gewichte durch den Speicher fließen, nicht durch die reine Rechenleistung. Der Kompromiss ist der Präzisionsverlust. Das Runden der Gewichte auf weniger Bits führt zu kleinen Fehlern, die sich über die Schichten eines Modells aufsummieren, was bei aggressiven Quantisierungsstufen die Ausgabequalität messbar beeinträchtigen kann. Für genaue Bytes-pro-Parameter-Werte und die Berechnungen zur Speichergröße, die darauf aufbauen, siehe Speicher und Auslagerung.

​

GGUF-Quantisierungsbezeichnungen lesen

Dateien, die für auf llama.cpp basierende Backends (einschließlich Ollama und LM Studio) verteilt werden, verwenden das GGUF-Format, und quantisierte Varianten folgen einer Namenskonvention, die im llama.cpp quantize README und der GGUF-Formatspezifikation dokumentiert ist. Ein typischer Dateiname sieht wie Qwen3-8B-Instruct-Q4_K_M.gguf aus — das letzte Segment vor .gguf ist die Quantisierung. Quantisierungsbezeichnungen reichen grob von Q2_K (kleinst, geringste Qualität) bis zu Q8_0 (größ, nahezu verlustfrei): Also Q4_K_M decodiert sich als: 4-Bit, K-Quantisierungsfamilie, mittlere Variante. GGUF Q4_K_M ist eine gemischte Präzision, die in der Praxis durchschnittlich etwa 0.5–0.56 Byte pro Parameter ergibt — nicht flach 4 Bits über jeden Tensor hinweg.

​

Der Kompromiss zwischen Größe und Qualität

Jeder Schritt hin zu einer stärkeren Quantisierung spart Speicher und gewinnt oft etwas an Geschwindigkeit, jedoch auf Kosten der Ausgabequalität. Die Beziehung ist nicht linear — die Qualität bleibt bis etwa 4-Bit gut erhalten, verschlechtert sich darunter dann merklich:

• Q8_0: Sehr nahe an der vollen 16-Bit-Qualität. Verwenden Sie diese Option, wenn Sie ausreichend VRAM haben und die sicherste Qualitätsmarge wünschen.
• Q4_K_M: Der übliche Standard. Gutes Gleichgewicht zwischen Größe und Qualität für die meisten allgemeinen Anwendungen.
• Q2_K–Q3_K: Am kleinsten, VRAM-freundlichste, aber merklich geringere Qualität — nur für Fälle reservieren, in denen nichts anderes passt.

​

Welche Quantisierung sollten Sie wählen?

Als Faustregel gilt: Beginnen Sie mit Q4_K_M. Es ist der Standard, den die meisten Modell-Repositories hervorheben, und das aus gutem Grund — er passt bequem auf Consumer-Hardware und bleibt bei den meisten Aufgaben nahe an der Ausgabequalität der vollen Präzision. Daraus folgt:

• Gehen Sie höher (Q5_K_M, Q6_K, Q8_0), wenn Ihr VRAM nach Abzug des KV-Caches für Ihre Zielkontextlänge noch Spielraum hat.
• Gehen Sie niedriger (Q3_K, Q2_K), nur wenn Q4_K_M wirklich nicht passt und Sie keine andere Option haben — erwarten Sie einen merklichen Qualitätsverlust, insbesondere bei aufwendigen Denkprozessen oder Coding-Aufgaben.

Verwenden Sie den GPU-Modell-Passform-Leitfaden, um zu prüfen, ob eine bestimmte Modell- und Quantisierungskombination auf Ihrer Hardware läuft, bevor Sie sie herunterladen.

​

Quantisierungsbewusstes Training (QAT)

Alles oben beschriebene bezieht sich auf Post-Training-Quantisierung (PTQ) — das Quantisieren eines fertigen Modells in einem Schritt. Quantisierungsbewusstes Training (QAT) simuliert stattdessen niedrige Präzision während des Trainings, sodass die Gewichte lernen, das Runden zu tolerieren und die Qualität bei gleicher Bitbreite besser zu halten. Google liefert QAT-Checkpoints für Gemma unter einem -it-qat-Tag — zum Beispiel ollama run gemma4:12b-it-qat — die bei etwa einem Viertel des BF16-VRAM nahe an der Qualität der vollen Präzision bleiben. Ein QAT-Checkpoint wird immer noch als GGUF ausgeliefert: QAT ist wie die Gewichte erstellt wurden, kein anderes Format.

​

Tiefer einsteigen

​

Sobald Sie eine Quantisierung gewählt haben und sie läuft

Die Wahl einer Quantisierung sorgt dafür, dass ein Modell auf Ihrer Hardware passt und gut läuft. Sobald es Anfragen lokal beantwortet, ist der nächste Schritt, es von einem anderen Ort als dieser einen Maschine aus zu erreichen.