Interactive model-fit finder — select hardware or model, adjust quantization and context.
So funktioniert es
Das Widget schätzt den Speicherbedarf mit:
MoE-Modelle (wie Qwen3.8-2.4T-A95B oder DeepSeek-V3) laden alle Expertengewichte in den Speicher, sodass die Gesamtzahl der Parameter den Speicherverbrauch bestimmt – obwohl pro Token nur die aktive Teilmenge läuft.
Die Größenformel
Modellgewichte benötigen eine feste Anzahl Bytes pro Parameter, und diese Byte-Anzahl hängt vollständig von der Präzision ab:
Die reine Gewichtgröße ist nicht die ganze Geschichte. Sie benötigen auch Speicher für den KV-Cache, Aktivierungen und Framework-Overhead. Das Widget oben fügt eine bescheidene KV-Cache-Schätzung (bei der gewählten Kontextlänge) plus einen 5% Overhead-Faktor auf Gewichte und KV-Cache zusammen hinzu:
×1.2-Multiplikator auf die reine Gewichtgröße ein vernünftiger Shortcut — er enthält eine grobe KV-Cache-Schätzung und Overhead in einem Schritt, und das ist es, was die durchgerechneten Beispiele unten verwenden.
Durchgerechnete Beispiele bei ~Q4 (4-Bit), einschließlich des ~1.2-Overheads:
Zur Orientierung skaliert höhere Präzision dieselben Modelle weit über das hinaus, was eine einzelne Consumer-Karte fassen kann:
70B bei FP16 sind etwa 140 GB, und 120B bei FP16 sind etwa 230 GB.
Hugging Face dokumentiert ein ähnliches Muster über Modellgrößen: zum Beispiel etwa 29 GB bei bf16, ~15 GB bei 8-Bit und ~9.5 GB bei 4-Bit für ein großes Modell. Siehe den Hugging Face guide to optimizing LLMs und das llama.cpp quantize README für die zugrunde liegenden Zahlen — GGUF Q4_K_M verwendet gemischte Präzision, die durchschnittlich etwa 0.5–0.56 Bytes pro Parameter ergibt.
Ternary-Gewichtskompression geht weiter als jede Standard-Quantisierung. Bonsai 2 27B speichert jedes Gewicht als -1, 0 oder +1 — roughly 1.58 Bit pro Gewicht — und schrumpft Qwen3.8-27B von 54 GB auf 5.9 GB. Das passt unter 6 GB VRAM auf einer Consumer-GPU. Der Rechner oben modelliert das Ternary-Format nicht direkt, da es eine Training-Time-Technik ist und keine Post-Training-Quantisierung, die Sie auf jedes Modell anwenden können.
Diese Formeln schätzen die Gewichtgröße ab. Die tatsächlich relevante Zahl ist die
GGUF-Dateigröße, die auf Hugging Face für die exakte Quantisierung aufgelistet ist, die Sie ausführen möchten, plus der KV-Cache für Ihre Zielkontextlänge. Prüfen Sie dies immer, bevor Sie sich für Hardware entscheiden.GPU-VRAM auf einen Blick
Quellen: NVIDIA GeForce RTX 50 series, NVIDIA professional GPUs, Wikipedia: GeForce RTX 40 series, Wikipedia: GeForce RTX 30 series, AMD Ryzen AI Max, Apple technische Spezifikationen.
Dedizierter GDDR-Speicher (die NVIDIA-Karten oben) ist schnell und in der Kapazität festgelegt — Sie können später keinen zusätzlichen hinzufügen. Unified Memory (Apple Silicon, Strix Halo) teilt sich einen Pool zwischen CPU und GPU, sodass er viel größer sein kann, aber mit geringerer Bandbreite als eine dedizierte Karte läuft.
Was wo hineinpasst
Die folgende Tabelle schätzt das Komfortniveau bei~Q4-Quantisierung für eine moderate Kontextlänge. Betrachten Sie jeden Eintrag als Schätzung — überprüfen Sie gegen die tatsächliche GGUF-Dateigröße plus KV-Cache, bevor Sie sich festlegen.
Ground truth ist immer die
GGUF-Dateigröße auf Hugging Face für die von Ihnen gewählte Quantisierung, plus der KV-Cache, den Ihre Kontextlänge benötigt.
Modell ausgewählt? Verbinden Sie es
Ein authentifizierter Endpunkt unter
https://api.tokios.com — keine eingehenden Ports, etwa 5 Minuten.Warum Unified Memory große Modelle lädt, aber langsamer ausführt
Das Laden eines Modells erfordert nur genügend Speicherkapazität, um die Gewichte zu halten. Es schnell auszuführen erfordert genügend Speicherbandbreite, um die Recheneinheiten kontinuierlich zu versorgen, weil Single-Stream-Dekodierung speicherbandbreitengebunden ist — jedes generierte Token muss die Gewichte des Modells (oder, bei einem Mixture-of-Experts-Modell, die aktiven Experten) aus dem Speicher lesen. Prefill (Verarbeitung des Prompts) ist stattdessen rechenbegrenzt und verhält sich daher anders. Deshalb unterscheiden sich die beiden Speichertypen in ihrem Trade-off:- Dedicated GDDR (RTX 4090, 5090 und ähnliche): hohe Bandbreite (etwa
1000–1800 GB/s), aber die Kapazität ist durch die Karte festgelegt. - Unified Memory (Apple Silicon, Strix Halo): deutlich größere Kapazität (bis zu
128 GB), aber geringere Bandbreite (etwa256–546 GB/s).
96 GB Unified Memory lädt eine Maschine ein 120B-Modell, das auf keiner einzelnen Consumer-GPU Platz hätte. Es wird trotzdem Token langsamer generieren als eine dedizierte GPU, die ein Modell innerhalb ihres eigenen VRAM ausführt, weil sie weniger Bandbreite hat, um Gewichte pro Token zu bewegen.
Verlassen Sie sich nicht auf veröffentlichte tok/s-Zahlen aus anderen Setups — Hardware, Treiberversionen, Quantisierung, Kontextlänge und Batch-Größe verändern alle das Ergebnis. Messen Sie Ihr eigenes Deployment mit llama-bench und siehe Test your deployment für eine wiederholbare Methode, um Deployments zu vergleichen, sobald Ihr Modell läuft.
Nächste Schritte
Erste Schritte mit Tokios
Sobald ein Modell auf Ihre Hardware passt, macht Tokios daraus einen stabilen API-Endpunkt, den Sie von überall aufrufen können.
Das richtige Modell für Ihre Aufgabe wählen
Die Größe grenzt ein, was passt. Die Aufgabenpassung grenzt ein, welche Familie überhaupt geladen werden soll.