Interaktiver Modell-Passungsfinder — Hardware oder Modell auswählen, Quantisierung und Kontext anpassen.
So funktioniert es
Das Widget schätzt den Speicherbedarf anhand von:
MoE-Modelle (wie Qwen3.8-2.4T-A95B oder DeepSeek-V3) laden alle Experten-Gewichte in den Speicher, sodass die Gesamtzahl der Parameter den Speicherverbrauch bestimmt – obwohl pro Token nur die aktive Teilmenge ausgeführt wird.
Die Größenformel
Die Modellgewichte benötigen eine feste Anzahl an Bytes pro Parameter, und diese Byte-Anzahl hängt ausschließlich von der Präzision ab:
Die Größe der Rohgewichte ist nicht die ganze Geschichte. Fügen Sie für den KV-Cache, die Aktivierungen und den Framework-Speicher bei einer moderaten Kontextlänge ungefähr 20% Overhead (
×1.2) hinzu — längere Kontexte erhöhen den KV-Cache zusätzlich. Daraus ergibt sich die Arbeitsformel:
~Q4 (4-Bit), einschließlich des ~1.2-Overheads:
Zur Orientierung skaliert eine höhere Präzision dieselben Modelle weit über das hinaus, was eine einzelne Consumer-Karte fassen kann
70B bei FP16 liegt bei etwa 140 GB, und 120B bei FP16 bei etwa 230 GB.
Hugging Face hat ein ähnliches Muster bei einem 15B+-Modell gemessen 29 GB bei etwa bf16, ~15 GB bei 8-Bit und ~9.5 GB bei 4-Bit. Siehe den Hugging Face Guide to optimizing LLMs und das llama.cpp quantize README für die zugrunde liegenden Zahlen — GGUF Q4_K_M verwendet gemischte Präzision, die im Durchschnitt etwa 0.5–0.56 Bytes pro Parameter ergibt.
Diese Formeln schätzen die Größe der Gewichte ab. Die tatsächlich relevante Größe ist die
GGUF-Dateigröße, die auf Hugging Face für die exakte Quantisierung aufgelistet ist, die Sie ausführen möchten, plus der KV-Cache für Ihre Zielkontextlänge. Prüfen Sie dies immer, bevor Sie sich für Hardware entscheiden.GPU-VRAM auf einen Blick
Quellen: NVIDIA GeForce RTX 50-Serie, NVIDIA professionelle GPUs, Wikipedia: GeForce RTX 40-Serie, Wikipedia: GeForce RTX 30-Serie, AMD Ryzen AI Max, Apple technische Spezifikationen.
Dediziertes GDDR-Speicher (die oben genannten NVIDIA-Karten) ist schnell und in der Größe festgelegt — Sie können später keinen zusätzlichen Speicher hinzufügen. Unified Memory (Apple Silicon, Strix Halo) teilt sich einen gemeinsamen Speicherpool zwischen CPU und GPU, sodass er deutlich größer sein kann, aber mit geringerer Bandbreite arbeitet als eine dedizierte Karte.
Was wo hineinpasst
Die folgende Tabelle schätzt das Komfortniveau bei einer Quantisierung von~Q4 für eine moderate Kontextlänge ab. Betrachten Sie jeden Eintrag als Schätzung — überprüfen Sie vor der Festlegung die tatsächliche Dateigröße von GGUF plus KV-Cache.
Die genaue Wahrheit ist immer die
GGUF-Dateigröße auf Hugging Face für die von Ihnen gewählte Quantisierung, zuzüglich des KV-Caches, den Ihre Kontextlänge erfordert.
Ein Modell ausgewählt? Verbinden Sie es
Ein authentifizierter Endpunkt unter
https://api.tokios.com — keine eingehenden Ports, etwa 5 Minuten.Warum Unified Memory große Modelle lädt, sie aber langsamer ausführt
Zum Laden eines Modells ist lediglich genügend Speicherkapazität erforderlich, um die Gewichte zu speichern. Für eine schnelle Ausführung ist genügend Speicherbandbreite nötig, um die Recheneinheiten kontinuierlich zu versorgen, da die Dekodierung eines einzelnen Streams speicherbandbreitenbegrenzt ist — jedes generierte Token muss die Gewichte des Modells (oder bei einem Mixture-of-Experts-Modell die aktiven Experten) aus dem Speicher lesen. Die Prefill-Phase (Verarbeitung des Prompts) ist hingegen rechenbegrenzt und verhält sich daher anders. Deshalb unterscheiden sich die beiden Speichertypen in ihrem Trade-off:- Dedicated GDDR (RTX 4090, 5090 und ähnliche): hohe Bandbreite (etwa
1000–1800 GB/s), aber die Kapazität ist durch die Karte festgelegt. - Unified Memory (Apple Silicon, Strix Halo): deutlich größere Kapazität (bis zu
128 GB), aber geringere Bandbreite (etwa256–546 GB/s).
96 GB unified-memory machine can load a 120B model that would never fit on any single consumer GPU. It will still generate tokens more slowly than a dedicated GPU running a model that fits within the GPU’s own VRAM, because it has less bandwidth to move weights through per token.
Verlassen Sie sich nicht auf veröffentlichte tok/s-Werte aus anderen Setups — Hardware, Treiberversionen, Quantisierung, Kontextlänge und Batch-Größe verschieben das Ergebnis alle. Messen Sie Ihr eigenes Deployment mit llama-bench und siehe Benchmark your deployment für eine wiederholbare Methode, um Deployments zu vergleichen, sobald Ihr Modell läuft.
Nächste Schritte
Erste Schritte mit Tokios
Sobald ein Modell auf Ihre Hardware passt, wandelt Tokios es in einen stabilen API-Endpunkt um, den Sie von überall aus aufrufen können.
Wählen Sie das richtige Modell für Ihre Aufgabe
Die Größenbestimmung grenzt ein, was passt. Die Aufgabenanpassung grenzt ein, welche Familie überhaupt geladen werden soll.