Zum Hauptinhalt springen
Last verified: 2026-10-14
Kimi K3 ist das Modell, das Sie wollten, aber es passt nicht auf Ihre Hardware. Seine 2.8T Parameter benötigen etwa 1.4 TB bei der nativen 4-Bit-Obergrenze — selbst 8 DGX Sparks (1 TB gepoolt) fehlen 376 GB, und Moonshot zielt mit K3 auf einen Supernode mit 64 oder mehr Beschleunigern. Siehe Run Kimi K3 locally für das Verfügbarkeitsbild und die DGX Spark memory math für die vollständige Berechnung. Die nützliche Frage lautet also nicht „Wie führe ich K3 aus” — sondern „Was ist das nächstbeste Modell, das tatsächlich auf meiner Maschine läuft, heute?” Diese Seite beantwortet das nach Hardware-Stufe.
Sie betreiben bereits eines der unten genannten Modelle? Registrieren Sie es bei Tokios, um es als https://api.tokios.com von jedem OpenAI- oder Anthropic-kompatiblen Client aus zu erreichen — siehe Connect your pick with Tokios am Ende.

​
The short answer by hardware

Jedes Modell oben können Sie heute herunterladen und betreiben. Die Zeilen sind nach Speicher sortiert, nicht nach Leistung — wählen Sie Ihre Hardware, dann lesen Sie die entsprechende Stufe unten. Ein Hinweis zur Big-RAM-Zeile: Kimi K2.6 und K2.7-Code erreichen auf einem Multi-GPU-Server interaktive Geschwindigkeit, aber auf einer RAM-Offload-Workstation laufen sie mit einstelligen Tokens pro Sekunde — ausreichend für Batch-Arbeit, zu langsam für Coding-Agenten.

Found your tier? Connect it next

Koppeln Sie den Tokios-Connector und registrieren Sie einen Deployment-Namen in etwa 5 Minuten, dann rufen Sie Ihr Modell von überall ab.

​
The closest thing to K3 itself: Kimi K2.6 and K2.7-Code

Wenn Sie K3 speziell wollen, weil es Kimi ist, dann ist die ehrliche Alternative der Rest der Kimi-Familie. Kimi K2.6 (allgemeines Flaggschiff) und Kimi K2.7-Code (Coding-spezialisiert, der Standard in Moonshots Kimi Code CLI) sind 1T-Parameter-Open-Weight-MoEs — eine volle Hardware-Stufe unter K3. Sie werden als natives INT4 ausgeliefert (~595 GB auf der Festplatte), benötigen also einen Multi-GPU-Server oder eine Big-RAM-Workstation, keinen Desktop, aber sie sind jetzt herunterladbar. Das ist die stärkste „Stattdessen ausführen”-Antwort auf dieser Seite, weil es kein Ersatz ist — es ist dieselbe Familie, mit demselben agentischen Werkzeugaufruf und Multimodal-Eingabe, in einer Größe, die reale Hardware fassen kann. Siehe Kimi models für den vLLM/SGLang-Serving-Pfad und Quantisierungsoptionen.
Kimis kimi-*-Tags auf Ollama sind :cloud-only — sie laufen auf Ollamas Infrastruktur, nicht auf Ihrer, also gibt es nichts Lokales, das ein Connector erreichen könnte. Hosten Sie die Gewichte selbst mit vLLM oder SGLang, wenn Sie Kimi auf Hardware betreiben wollen, die Sie kontrollieren.

​
Strix Halo (128 GB unified)

Ein AMD Ryzen AI Max+ 395 stellt nach BIOS- und Treiberzuweisung etwa 96 GB für die GPU bereit. MoE-Modelle im Bereich 35B–122B sind der Sweet Spot — sie laufen 3–14× schneller als ein denses Modell mit derselben Parameterzahl.
  • Coding / agents: Qwen3-Coder-30B bei Q4_K_M (~19 GB) ist die bevorzugte Wahl der Community für Cline, Aider und opencode, bei etwa 10–15 tok/s.
  • General / reasoning: GLM-4.5-Air (106B MoE, ~60 GB) ist die Qualitäts-Wahl; Qwen3.5-122B-A10B (~70 GB) ist die Maximum-Option. Beide landen bei etwa 10–15 tok/s bei Q4_K_M.
Vollständige Fit-Tabellen, Quantisierungsformate und die Vulkan-vs-ROCm-Geschichte finden Sie unter Strix Halo model compatibility und Serve a model on Strix Halo.

​
1 DGX Spark (128 GB unified)

Ein einzelner Spark hat ~115–120 GB nutzbar nach System-Overhead. Er betreibt dichte Modelle bis ~70B bei Q4 und MoE-Modelle bis ~120B Gesamtparameter bei NVFP4 — NVFP4 is the recommended default auf der SM121-GPU.
  • Coding / agents: Qwen3.5-35B-A3B bei NVFP4 (~18 GB) hält 47–50 tok/s; das neuere Qwen3.6-35B-A3B erreicht bis zu ~120 tok/s mit der Atlas-Engine. Qwen3-Coder-30B ist die Coder-optimierte Alternative.
  • General / reasoning: GLM-4.5-Air (106B MoE, ~53 GB) ist die breit berichtete beste Qualitäts-Wahl; Qwen3.5-122B-A10B (~61 GB) ist das größte MoE, das passt, bei ~30 tok/s.
Siehe DGX Spark model compatibility für die vollständige Modellliste und vLLM on DGX Spark für die Startbefehle.

​
2 DGX Sparks (256 GB combined)

Ein zweiter Spark schaltet kein „größeres Kimi” frei. Er schaltet DeepSeek-V4-Flash-0731 frei: 2 Knoten bieten 256 GB aggregierten unified Memory für seine etwa 162–167 GB Gewichtsbasis. Der Pfad ist community-getestet statt hersteller-validiert für 0731, also starten Sie bei 32K Kontext und validieren Sie Modell-Ladung, Tool-Aufrufe und nachhaltige Generierung erneut. Ein 405B denses Modell bei FP8 benötigt etwa 405 GB nur für Gewichte und passt nicht in 2 Sparks. Wenn Ihr Ziel ein großes Coding-Modell ist statt mehr Parallelität, springen Sie zu 4 Sparks — Qwen3-Coder-480B benötigt ~250 GB+ Speicherbasis und bekommt echten KV-Cache-Spielraum erst bei 512 GB. Siehe One vs two DGX Sparks für den Entscheidungsrahmen und berechnete Durchsatzwerte.

​
4 DGX Sparks (512 GB combined)

4 Knoten sind NVIDIAs dokumentiertes Maximum-Spark-Cluster, positioniert für Modelle bis etwa 700B Parameter. Das ist die Stufe, die das K3-Urteil konkret macht: Selbst eine Verdopplung über 4 Sparks auf 8 bleibt 376 GB unter K3 — also sind 4 Sparks die Stufe, auf der Sie die größten Modelle betreiben, die passen.
  • Coding / agents: Qwen3-Coder-480B (großer MoE-Coder, ~250 GB+ Speicherbasis) läuft hier mit dem KV-Cache-Spielraum, der bei 256 GB fehlte.
  • General / reasoning: Starten Sie mit DeepSeek-V4-Flash-0731, dem aktuellen offiziellen Release mit Tool-Aufrufen und 1M Kontext. DeepSeek-R1 671B bei Q4_K_M (~404 GB) passt ebenfalls, wenn Sie speziell die ältere R1-Familie benötigen.
Das Repository veröffentlicht keine gemessenen tok/s bei dieser Cluster-Größe, also behandeln Sie jede Durchsatzangabe hier als Schätzung, bis Sie Ihre eigenen Knoten benchmarken. Siehe DGX Spark model compatibility und den Kimi K3 hardware deep dive für die Cluster-Berechnung.

​
Big-RAM or multi-GPU server (256 GB+)

Das ist die Stufe, auf der die treuesten K3-Alternativen leben, denn hier läuft der Rest der Kimi-Familie. Auf einem 8×80 GB-Datacenter-Server betreiben Sie Kimi K2.6 oder K2.7-Code mit vLLM bei --tensor-parallel-size 8 für interaktive Geschwindigkeit. Auf einer 256 GB+ RAM-Workstation mit GPU-Offload läuft ein Community-GGUF eine niedrige Bit-Quantisierung langsam — einstellige Tokens pro Sekunde, nicht interaktiv.
  • Coding / agents: Kimi K2.7-Code — Moonshots Coding-spezialisierter 1T MoE.
  • General / reasoning: Kimi K2.6 für gemischte agentische Workloads; MiniMax M3 (428B / 23B aktiv) oder GLM-5.2 sind starke Nicht-Kimi-Optionen auf dieser Stufe.
Deployment-Befehle und Quantisierungsoptionen stehen auf Kimi models; Homelab GPU server behandelt den Bau des Systems, und Which local model for which task? hilft bei der Auswahl.

​
Single consumer GPU (8–24 GB)

Eine einzelne 24 GB-Karte ist eine andere Werkzeugklasse als K3 — setzen Sie die Erwartungen entsprechend. Sie ist hervorragend für schnelle, lokale Coding-Hilfe und allgemeinen Chat, nicht für Frontier-Reasoning.
  • Coding / agents: Qwen3-Coder-30B-A3B bei Q4_K_M (19 GB) passt bequem auf eine 24 GB-Karte.
  • General / reasoning: gpt-oss-20b bei nativem MXFP4 (14 GB) passt bequem und bietet niedrige/mittlere/hohe Reasoning-Anstrengung.
Prüfen Sie jedes andere Modell gegen Ihre genaue Karte mit dem model-fit calculator, und siehe RTX workstation für die vollständige Einrichtung.

​
Connect your pick with Tokios

Sobald Ihr gewähltes Modell auf einer lokalen Laufzeit läuft — Ollama, llama.cpp, vLLM oder SGLang mit einem OpenAI-kompatiblen /v1 — wählt sich der Tokios-Connector hinaus und gibt Ihnen einen authentifizierten Endpunkt unter https://api.tokios.com, ohne eingehende Ports und ohne VPN. Jede Modellseite oben enthält die vollständige Verbindungs-Anleitung; die Kurzversion:
1

Pair the connector

Melden Sie sich bei tokios.com/console an, öffnen Sie Setup, klicken Sie auf Start pairing und führen Sie den Installer auf der Maschine aus, die Ihr Modell bereitstellt, mit dem einmaligen TKS-XXXX-XXXX Pairing-Code.
Windows
macOS
Linux
Dann approve das Gerät auf dem Setup oder Connectors Tab.
2

Register a deployment

Richten Sie den Connector auf die /v1-Basis-URL Ihrer Laufzeit und registrieren Sie die Upstream-Modell-ID unter einem öffentlichen Deployment-Namen — siehe register a model.
3

Create an API key

Klicken Sie auf dem Keys Tab auf Create key und kopieren Sie den sk-tok-… Schlüssel jetzt — er wird nur einmal angezeigt.

​
Call it from anywhere

​
FAQ

Das hängt von Ihrer Hardware ab. Wenn Sie speziell Kimi wollen, betreiben Sie Kimi K2.6 (allgemein) oder Kimi K2.7-Code (Coding) auf einem Multi-GPU-Server — dieselbe Familie, eine Stufe tiefer. Auf einem einzelnen DGX Spark ist die beste Allround-Wahl GLM-4.5-Air für Qualität oder Qwen3.5-35B-A3B für Geschwindigkeit. Auf Strix Halo Qwen3-Coder-30B für Coding und GLM-4.5-Air für allgemeines.
Qwen3.5-35B-A3B bei NVFP4 — 47–50 tok/s auf 1 Spark (das neuere Qwen3.6-35B-A3B erreicht bis zu ~120 tok/s mit der Atlas-Engine) — oder der Coder-optimierte Qwen3-Coder-30B. Für ein großes Coding-MoE benötigen Sie einen 4-Spark-Cluster (Qwen3-Coder-480B). Siehe DGX Spark model compatibility.
Nicht K3 selbst — seine Obergrenze liegt bei ~1.4 TB. Aber 128 GB (1 DGX Spark oder ein Strix Halo-System) betreiben bequem 100B-Klasse-MoE-Modelle wie GLM-4.5-Air, die starke agentische und Reasoning-Qualität liefern. Das ist die realistische Frontier-nahe Stufe für eine einzelne 128 GB-Maschine.
Ja — Kimi K2.6 und Kimi K2.7-Code sind Open-Weight-1T-MoEs bei nativem INT4 (~595 GB), also laufen sie auf einem Multi-GPU-Server (interaktiv) oder einer Big-RAM-Workstation mit Offload (langsam — einstellige Tokens pro Sekunde). Nur K3 bleibt auf eigener Hardware unerreichbar. Siehe Kimi models.
Die Gewichte sind draußen (veröffentlicht am 27. Juli 2026 — siehe Run Kimi K3 locally), aber K3s ~1.4 TB-Obergrenze schließt jedes Consumer- und Prosumer-Setup aus, also bleiben die Modelle auf dieser Seite Ihre realistischen lokalen Optionen.

Run Kimi K3 locally

Das Verfügbarkeitsbild und warum kein System, das Sie besitzen, K3 heute fasst.

Kimi models

Hosten Sie K2.6 und K2.7-Code selbst — die nächstliegenden herunterladbaren Kimi-Modelle.

DGX Spark model compatibility

Die vollständigen Fit-Tabellen, Quantisierungsformate und empfohlenen Modelle pro Anwendungsfall.

What size model fits your GPU?

Prüfen Sie jedes Modell gegen Ihre genaue Hardware, bevor Sie sich festlegen.