Zwei wichtige Geschwindigkeiten
Dekodierungs-Durchsatz ist die Geschwindigkeit, mit der das Modell Tokens generiert, nachdem es mit der Antwort begonnen hat, gemessen in Tokens pro Sekunde (tok/s). Er bestimmt, wie schnell eine Chat-Antwort oder Code-Vervollständigung auf dem Bildschirm erscheint. Prefill-Latenz ist die Zeit, die das Modell benötigt, um Ihre Eingabe zu verarbeiten, bevor es den 1. Token generiert, gemessen in Millisekunden pro Token (ms/Token). Sie bestimmt die Pause zwischen dem Drücken der Eingabetaste und dem Beginn des Streaming-Outputs. Verschiedene Workloads legen Wert auf unterschiedliche Geschwindigkeiten:Die Zeit bis zum ersten Token (TTFT) kombiniert die Prefill-Latenz mit eventuellen Planungs- oder Warteschlangenverzögerungen. Für einen einzelnen Benutzer auf lokaler Hardware entspricht die TTFT ungefähr der Prefill-Zeit. Unter gleichzeitiger Last addiert sich die Warteschlange unabhängig zur TTFT.
Was Präzision für die Geschwindigkeit bedeutet
Präzision steuert, wie viele Bits jedes Gewicht im Modell repräsentieren. Weniger Bits bedeuten kleinere Gewichte, was 2 Dinge verändert: wie viel Speicher das Modell belegt und wie viele Daten die GPU pro Token liest.Wie sich Präzision unterschiedlich auf Dekodierung vs. Prefill auswirkt
Dies ist der Schlüsselgedanke: Dekodierung und Prefill stoßen auf unterschiedliche Hardware-Flaschenhälse, daher wirkt sich dieselbe Präzisionsänderung ungleich auf sie aus.Dekodierung ist durch Speicherbandbreite begrenzt
Während der Dekodierung generiert das Modell 1 Token nach dem anderen. Für jeden Token liest es die gesamte Gewichtsmatrix aus dem Speicher und führt eine geringe Menge an Berechnungen pro Gewicht durch. Die GPU verbringt die meiste Zeit damit, auf Daten aus dem Speicher zu warten, nicht mit Mathematik. Kleinere Gewichte = weniger zu lesende Daten = schnellere Dekodierung. Die Beschleunigung ist ungefähr proportional zur Speicherreduzierung:- FP16 → FP8: ~1.8-2.0x Dekodierungs-Beschleunigung
- FP16 → INT4: ~2.5-3.5x Dekodierungs-Beschleunigung
- FP16 → NVFP4: ~2.5-3.0x Dekodierungs-Beschleunigung
Prefill ist durch Rechenleistung begrenzt
Während des Prefills verarbeitet das Modell alle Eingabe-Tokens parallel. Es liest die Gewichte einmal, führt aber eine große Matrixmultiplikation über alle Prompt-Tokens durch. Die GPU verbringt die meiste Zeit mit Mathematik, nicht mit dem Warten auf Speicher. Quantisierung hilft dem Prefill weniger, da die Mathematik der Flaschenhals ist, nicht das Lesen der Gewichte:- FP16 → FP8: ~1.3-1.5x Prefill-Beschleunigung
- FP16 → INT4: ~1.2-1.5x Prefill-Beschleunigung
- FP16 → NVFP4: ~1.3-1.5x Prefill-Beschleunigung
Praktische Auswirkung
Je niedriger die Präzision, desto schneller verbessert sich die Dekodierung im Vergleich zum Prefill. Bei INT4 generiert ein Modell, das bei FP16 träge wirkte, Text schnell, pausiert aber bei langen Prompts immer noch merklich. Diese Asymmetrie treibt die unten aufgeführten, workload-spezifischen Empfehlungen an.Stromverbrauch nach Präzisebenen
Niedrigere Präzision reduziert den Stromverbrauch aus 2 Gründen: weniger Speicherzugriffe (Speicherzugriff dominiert die Energiekosten) und einfachere Arithmetik (INT4-Multiplikation kostet weniger als FP16-Multiplikation).Stromverbrauchsbereich von DGX Spark
Der GB10-Chip von DGX Spark hat eine ~40W TDP, die zwischen Grace-CPU und Blackwell-GPU geteilt wird. Hier sind beobachtete Stromverbrauchsbereiche während der Inferenz:Stromverbrauchserwartungen für Consumer-GPUs
Kosten für 24/7-Betrieb
Für einen DGX Spark, der kontinuierlich unter Dekodierungs-Last läuft:
Auf einer Consumer-GPU wie der RTX 4090 bei 10 Stunden/Tag:
Benchmark-Methodik
Führen Sie diese Tests auf Ihrer eigenen Einrichtung durch, um zu sehen, wie sich die Präzision auf Ihr spezifisches Modell und Ihre Hardware auswirkt.Dekodierungs-Durchsatz messen
Generieren Sie eine feste Anzahl von Ausgabe-Tokens aus einem kurzen Prompt und messen Sie Tokens pro Sekunde.Prefill-Latenz messen
Messen Sie, wie lange das Modell benötigt, um seinen 1. Token bei variierenden Prompt-Längen zu produzieren.Stromverbrauch messen
Was zu berichten ist
Füllen Sie diese Tabelle für jede Präzisebene aus, die Sie testen:Entscheidungstabelle für die Praxis
Wählen Sie die Zeile, die zu Ihrem primären Workload passt:Warum nicht immer INT4 verwenden?
Warum nicht immer INT4 verwenden?
INT4-Quantisierung (GPTQ, AWQ, Q4_K_M) reduziert die Qualität bei kleineren Modellen und Aufgaben zur Befehlsbefolgung merklich. Bei Modellen unter 13B Parametern kann die Qualitätslücke zwischen FP16 und INT4 die Ausgabe verschlechtern. Bei 70B+ Modellen verengt sich die Lücke, da das Modell mehr Kapazität hat, Quantisierungsrauschen zu absorbieren. Testen Sie Ihr spezifisches Modell, bevor Sie sich entscheiden.
Beeinflusst die KV-Cache-Präzision diese Zahlen?
Beeinflusst die KV-Cache-Präzision diese Zahlen?
Ja. FP8 KV-Cache (eingestellt mit
--kv-cache-dtype fp8 in vLLM) halbiert den KV-Cache-Speicher unabhängig von der Gewichtsquantisierung. Er hat minimalen Einfluss auf die Dekodierungsgeschwindigkeit, ermöglicht aber längere Kontexte oder mehr gleichzeitige Benutzer. Siehe DGX Spark Speicher-Tuning für Dimensionierungstabellen.Wie ändert die Kontextlänge die Dekodierungsgeschwindigkeit?
Wie ändert die Kontextlänge die Dekodierungsgeschwindigkeit?
Dekodierung liest den gesamten KV-Cache bei jedem Token. Längere Konversationen bauen größere Caches auf, daher verlangsamt sich die Dekodierung, wenn der Kontext wächst. Ein Modell bei 4K Kontext kann mit 40 tok/s generieren, fällt aber auf derselben Hardware auf 25 tok/s bei 32K Kontext. Siehe KV-Cache und Kontext für die Mechanik.
Schnelle Benchmark-Befehle
Verwenden Sie diese als Ausgangspunkte, um Präzisionen auf einem einzelnen Modell zu vergleichen.vLLM Benchmark-Suite
llama.cpp Benchmark
Ollama integrierte Evaluation
Vergleich über Präzisionen hinweg
Führen Sie denselben Prompt bei jeder Präzision aus und notieren Sie die Ergebnisse in einer Tabelle:Nächste Schritte
DGX Spark Speicher-Tuning
KV-Cache-Größe, Batch-Kompromisse und Tuning-Parameter für 128GB Unified Memory.
vLLM auf DGX Spark
Installation, NVFP4-Konfiguration und optimale Startbefehle.
Ein Deployment benchmarken
End-to-End-Tests über Tokios — Latenz, Streaming und Client-Vergleich.
Quantisierungskonzepte
Tiefere Erklärung von GPTQ, AWQ, GGUF und Quantisierungs-Kompromissen.