Kimi K3 passt nicht auf Ihre Hardware – welches Modell lässt sich stattdessen nutzen?

Kimi K3 ist das gewünschte Modell, doch es passt nicht auf Ihre Hardware. Die 2.8 Billionen Parameter benötigen etwa 1.4 Terabyte bei einer nativen 4-Bit-Präzision – selbst 8 DGX Sparks (mit insgesamt 1 Terabyte Speicher) bleiben 376 Gigabyte unter diesem Bedarf. Moonshot plant zudem die Nutzung von K3 in einem Supernode mit mindestens 64 Beschleunigern. Lesen Sie Kimi K3 lokal ausführen zur Verfügbarkeit sowie Rechenbeispiel zum Speicherbedarf von DGX Spark für die genauen Berechnungen. Die relevante Frage lautet daher nicht „Wie führe ich K3 aus?“, sondern „Welches Modell lässt sich aktuell auf meinem System überhaupt nutzen?“ Diese Seite beantwortet dies nach Hardware-Kategorien.

​

Kurze Antwort nach Hardware-Kriterien

Alle oben genannten Modelle können Sie heute herunterladen und einsetzen. Die Reihenfolge der Zeilen orientiert sich am benötigten Arbeitsspeicher, nicht an der Leistungsfähigkeit – wählen Sie zunächst Ihre Hardware aus und lesen Sie anschließend die entsprechende Kategorie. Ein Hinweis zu Servern mit großem Arbeitsspeicher: Kimi K2.6 sowie K2.7-Code erreichen auf Multi-GPU-Systemen hohe Interaktionsgeschwindigkeiten; auf Workstations ohne RAM-Offload verarbeiten sie jedoch nur wenige Tokens pro Sekunde – ausreichend für Batch-Verarbeitung, aber zu langsam für Coding-Agenten.

​

Das Äquivalent zu K3 selbst sind Kimi K2.6 sowie K2.7-Code.

If you want K3 specifically because it is Kimi, the honest substitute is the rest of the Kimi family. Kimi K2.6 (general flagship) and Kimi K2.7-Code (coding-specialized, the default in Moonshot’s Kimi Code CLI) are 1T-parameter open-weight MoEs — one full hardware tier below K3. They ship at native INT4 (~595 GB on disk), so they need a multi-GPU server or a big-RAM workstation, not a desktop, but they are downloadable now. Diese Antwort stellt die stärkste Alternative dar, da es sich nicht um ein Ersatzmodell handelt, sondern um ein Modell aus derselben Familie – mit identischen agentenbasierten Werkzeugaufrufen und Multimodal-Eingaben, allerdings in einer Größe, die reale Hardware verarbeiten kann. Weitere Informationen zu vLLM/SGLang und Quantisierungsmöglichkeiten finden Sie unter Kimi-Modelle.

​

Strix Halo (128 GB Gesamtspeicher)

Ein AMD Ryzen AI Max+ 395 stellt nach BIOS- und Treiberkonfiguration etwa 96 GB GPU-Speicher bereit. Modelle im Bereich von 35B bis 122B Parametern sind ideal – sie arbeiten 3 bis 14 Mal schneller als vergleichbare dichte Modelle.

• Programmierung / Agenten: Qwen3-Coder-30B bei Q4_K_M (~19 GB) ist bei der Community die bevorzugte Wahl für Cline, Aider und OpenCode; die Geschwindigkeit liegt bei etwa 10 bis 15 Tokens pro Sekunde.
• General / reasoning: GLM-4.5-Air (106B MoE, ~60 GB) is the quality pick; Qwen3.5-122B-A10B (~70 GB) is the maximum-capability option. Both land around 10–15 tok/s at Q4_K_M.

Detaillierte Kompatibilitätstabellen, Quantisierungsformate sowie Informationen zu Vulkan versus ROCm finden Sie in Strix Halo-Modellkompatibilität sowie Deployment eines Modells auf Strix Halo.

​

1 DGX Spark (128 GB Gesamtspeicher)

Ein einzelner Spark bietet nach Systemreserven etwa 115 bis 120 GB nutzbaren Speicher. Er kann dichte Modelle bis zu ~70B Parametern bei Q4 verarbeiten; MoE-Modelle bis zu ~120B Parametern laufen mit NVFP4 – NVFP4 ist die empfohlene Standardeinstellung für die SM121-GPU.

• Programmierung / Agenten: Qwen3.5-35B-A3B auf NVFP4 (~18 GB) erreicht eine Geschwindigkeit von 47 bis 50 Tokens pro Sekunde; das neuere Qwen3.6-35B-A3B liefert mithilfe des Atlas-Engines bis zu ~120 Tokens pro Sekunde. Qwen3-Coder-30B stellt die speziell für die Programmierung optimierte Variante dar.
• Allgemein / logisches Denken: GLM-4.5-Air (106B MoE, ~53 GB) gilt als die qualitativ hochwertigste Wahl; Qwen3.5-122B-A10B (~61 GB) ist das größte verfügbare MoE-Modell, das mit ~30 Tokens pro Sekunde arbeitet.

Die vollständige Liste der kompatiblen Modelle finden Sie unter DGX Spark Modellkompatibilität; für die Startbefehle siehe vLLM auf DGX Spark.

​

2 DGX Sparks (Gesamtspeicher: 256 GB)

Eine zweite Spark-Unit schaltet kein „größeres Kimi“ frei. Sie aktiviert jedoch DeepSeek-V4-Flash-0731: Die 2 Knoten stellen insgesamt 256 GB an vereinheitlichtem Arbeitsspeicher bereit, was für die ungefähre Gewichtsuntergrenze von 162 bis 167 GB ausreicht. Dieser Weg wurde von der Community erprobt, nicht vom Hersteller für 0731 validiert; daher sollte man mit einem Kontext von 32K beginnen und anschließend das Laden des Modells, die Funktionsaufrufe sowie die kontinuierliche Generierung erneut überprüfen. Ein 405B dichtes Modell im FP8-Format benötigt allein für die Gewichte etwa 405 GB Speicherplatz und passt daher nicht in 2 Spark-Units. Falls Sie ein großes Programmier-Modell anstreben, anstatt mehr Parallelität zu erreichen, wählen Sie stattdessen 4 Sparks – Qwen3-Coder-480B erfordert mindestens ~250 GB Speicherplatz und erzielt erst ab 512 GB echten KV-Cache-Spielraum. Das Entscheidungsraster sowie konkrete Durchsatzwerte finden Sie unter Ein oder zwei DGX Sparks.

​

4 DGX Sparks (Gesamtspeicher: 512 GB)

4 nodes is NVIDIA’s documented maximum Spark cluster, positioned for models up to about 700B parameters. This is the tier that makes the K3 verdict concrete: even doubling past 4 Sparks to 8 still falls 376 GB short of K3 — so 4 Sparks is where you run the largest models that do fit.

• Programmierung / Agenten: Qwen3-Coder-480B (ein großes MoE-Programmier-Modell, das mindestens ~250 GB Speicherplatz benötigt) läuft hier problemlos, da der KV-Cache genügend Spielraum bietet – im Vergleich zu den Einschränkungen bei nur 256 GB.
• Allgemein / logisches Denken: Beginnen Sie mit DeepSeek-V4-Flash-0731, der aktuellen offiziellen Version, die Werkzeugaufrufe sowie 1M Kontext unterstützt. DeepSeek-R1 671B mit Q4_K_M (~404 GB) eignet sich zudem, falls Sie explizit die ältere R1-Familie benötigen.

Das Repository gibt für diese Clustergröße keine gemessenen Tokens pro Sekunde an; alle hier genannten Durchsatzwerte sind daher vorläufig. Für die Berechnungen zu Clustergrößen siehe DGX Spark Modellkompatibilität sowie die detaillierte Analyse Kimi K3 Hardware Deep Dive.

​

Server mit viel Arbeitsspeicher oder mehreren GPUs (mindestens 256 GB)

In dieser Kategorie finden sich die authentischsten Alternativen zu K3, da dort auch der Rest der Kimi-Familie zum Einsatz kommt. Auf einem 8×80 GB großen Rechenzentrumsserver lässt sich Kimi K2.6 bzw. K2.7-Code mittels vLLM bei --tensor-parallel-size 8 Geschwindigkeit betreiben. Auf einem Arbeitsplatzrechner mit mindestens 256 GB RAM und GPU-Offload läuft hingegen eine Community-Version im GGUF-Format nur langsam – es entstehen lediglich einstellige Token pro Sekunde, was für interaktive Nutzung ungeeignet ist.

• Programmierung / Agenten: Kimi K2.7-Code – Moonshots spezialisierter Programmier-1T-MoE-Modell.
• Allgemein / logisches Denken: Kimi K2.6 eignet sich für diverse agentenbasierte Aufgaben; MiniMax M3 (428B bzw. 23B aktive Parameter) sowie GLM-5.2 stellen ebenfalls starke Alternativen zu Kimi in dieser Klasse dar.

Die nötigen Deployment-Befehle sowie Quantisierungsoptionen finden sich unter Kimi-Modelle; unter Homelab-GPU-Server erfahren Sie, wie man ein solches System aufbaut. Zudem hilft Welches lokale Modell für welche Aufgabe? bei der Auswahl.

​

Ein einzelner Consumer-Grafikprozessor (8–24 GB)

Eine einzelne 24 GB große GPU stellt ein völlig anderes Werkzeug dar als K3 – setzen Sie Ihre Erwartungen dementsprechend. Sie eignet sich hervorragend für schnelle lokale Programmierhilfe sowie allgemeine Gespräche, doch nicht für komplexe logische Aufgaben.

• Programmierung / Agenten: Qwen3-Coder-30B-A3B in der Variante Q4_K_M (19 GB) lässt sich problemlos auf einer 24 GB großen GPU betreiben.
• Allgemein / logisches Denken: gpt-oss-20b im nativen MXFP4-Format (14 GB) passt ebenfalls gut auf solche Systeme und bietet unterschiedliche Stufen an logischer Verarbeitung.

Prüfen Sie mithilfe des Modell-Kompatibilitätsrechners, ob ein anderes Modell zu Ihrer GPU passt; zudem finden Sie unter RTX-Arbeitsplatzrechner detaillierte Einrichtungshinweise.

​

Verknüpfen Sie Ihr gewähltes Modell mit Tokios

Sobald Ihr Modell auf einem lokalen System – etwa Ollama, llama.cpp, vLLM oder SGLang – als OpenAI-kompatibler /v1-Dienst läuft, stellt der Tokios-Connector automatisch einen authentifizierten Endpunkt unter https://api.tokios.com bereit, ohne dass dazu eingehende Ports oder VPN-Verbindungen nötig sind. Auf jeder der oben genannten Modellseiten finden Sie eine ausführliche Anleitung; die Kurzfassung lautet:

​

Häufig gestellte Fragen