Ein kurzer Überblick über die Kimi-Modellreihe
Wondering whether you can run Kimi K3 locally? Short answer: not yet — the weights are not out, and when they arrive the floor is roughly 1.4 TB of memory. The rest of this page covers the Kimi models you can download today.
Falls Sie lediglich die Antworten von Kimi benötigen und es Ihnen egal ist, wo sie generiert werden, ist die gehostete API von Moonshot (platform.kimi.com) die einfachste Lösung. Tokios eignet sich hingegen für Nutzer, die die Modellgewichte auf ihrer Hardware – also auf einem System mit mehreren GPUs oder viel Arbeitsspeicher – betreiben möchten, wobei ein privater, authentifizierter Endpunkt erforderlich ist.
Ist eine lokale Ausführung von Kimi möglich?
Ehrlich gesagt: nicht auf einem gewöhnlichen Desktop. Kimi K2.6 wird bereits in native INT4-Format ausgeliefert – das ist die kleinere Variante – und umfasst dennoch etwa 595 GB an Daten verteilt auf 64 Checkpoint-Teilstücke. Es gibt keinen Consumer-Grafikprozessor sowie keinen einzigen Datacenter-GPU, der das bewältigen könnte. Die realistischen Optionen sind:
Community re-quantizations trade quality for size but don’t change the conclusion:
bartowski/moonshotai_Kimi-K2.6-GGUF ranges from an extreme IQ1_S at ~207 GB up to Q4_0 at ~584 GB, and Unsloth’s dynamic 2-bit build (~340–350 GB) still wants a 350 GB+ combined VRAM/RAM budget. As a rule of thumb, plan for RAM + VRAM roughly equal to the quant size. For most people, Kimi is a cloud/API model — and that’s a fine answer. Run it locally only if you have the rig for it.
„Kimi auf Ollama“ ist eine Cloud-Lösung, keine lokale Nutzung
Kimi K2.x models are in the Ollama library —kimi-k2.6, kimi-k2.7-code, kimi-k2.5 — but every one of them exposes only a :cloud tag. Ollama’s cloud models don’t download; requests are proxied to Ollama’s hosted infrastructure while you stay signed in. So ollama run kimi-k2.6:cloud is convenient, but it is not self-hosting — the weights never touch your machine, and there’s nothing local for a connector to point at.
Falls Sie Kimi auf Hardware betreiben möchten, die Sie selbst kontrollieren, überspringen Sie das :cloud-Tag und hosten Sie die Modellgewichte mithilfe einer Server-Laufzeitumgebung selbst. Anschließend fungiert Tokios als Schnittstelle für Ihre Deployment-Instanz – nicht für die Cloud-Dienste Dritter.
Führen Sie das Modell auf eigener Hardware aus
Die Dokumentation zur Deployment-Setup-Anleitung von Moonshot richtet sich an Produktionsumgebungen mit vLLM, SGLang sowie KTransformers – nicht an Systeme mit nur einer GPU. Auf einem Server mit mehreren GPUs können Sie die nativen INT4-Gewichte nutzen und einen OpenAI-kompatiblen Endpunkt bereitstellen.- vLLM (offizieller Weg, Server mit mehreren GPUs)
- Community-GGUF-Option (Systeme mit viel Arbeitsspeicher)
http://127.0.0.1:8000/v1 bereit – genau dorthin verweist der Tokios-Connector. Bevor Sie das Modell einsetzen, prüfen Sie bitte die Modellbeschreibung auf aktuelle Empfehlungen sowie ggf. Parser für Tool-Aufrufe.Varianten und technische Spezifikationen
Alle unten aufgeführten Werte stammen aus den Modellbeschreibungen von Moonshot auf Hugging Face sowie aus deren offizieller Dokumentation. Prüfen Sie diese Angaben vor der endgültigen Auswahl – Moonshot veröffentlicht neue Kimi-Versionen in etwa monatlichem Abstand.
Quellen:
moonshotai/Kimi-K2.6, moonshotai/Kimi-K2.7-Code, platform.kimi.com/docs/models, ollama.com/library/kimi-k2.6.
Kimis modifizierte MIT-Lizenz erlaubt die meisten Nutzungen, enthält jedoch eine Verpflichtung zur Namensnennung bei sehr großen kommerziellen Deployment-Vorgängen (dabei muss „Kimi K2.6“ in der Benutzeroberfläche des Produkts angezeigt werden, sobald die Nutzerzahlen oder Einnahmen eine bestimmte Grenze überschreiten). Lesen Sie bitte die Datei
LICENSE auf der Modellseite, bevor Sie ein kommerzielles Produkt entwickeln.Funktionsmerkmale
- Agentischer Werkzeugaufruf – K2.x wurde speziell für den Einsatz von Werkzeugen sowie mehrstufige Agentenzyklen trainiert. Bei der Nutzung mit vLLM oder SGLang muss der im Modellhandbuch empfohlene Werkzeugaufruf-Parser aktiviert werden, damit
tools-Anfragen über Ihren Endpunkt abgewickelt werden können. - Native Multimodal-Eingabe – Verarbeitung von Text, Bildern und Videos in der gesamten K2.x-Reihe.
- Reasoning — K2.x exposes thinking through Moonshot’s
thinkingAPI parameter. Kimi K3 replaces it with a top-levelreasoning_effort— don’t mix the two conventions; see the Kimi K3 page for K3’s protocol details. - 256K Kontextlänge – ausreichend für umfangreiche Programmierprojekte; dennoch ist bei Deployments mit langer Kontextlänge zusätzlicher KV-Cache-Speicher für die Gewichte erforderlich.
Welches Kimi-Modell sollten Sie nutzen?
- K2.6 ist Moonshots allgemein einsetzbarer, herunterladbarer Flaggschiff-Modelltyp – ideal für Texterstellung, Analyse, Gespräche sowie agentische Aufgaben.
- K2.7-Code ist speziell auf Programmierung und agentische Aufgaben ausgelegt – siehe dazu den eigenen Abschnitt unten.
- K2.5 ist das bisherige Flaggschiff-Modell; es bleibt weiterhin verfügbar, falls Sie es bereits in Ihrer Infrastruktur eingesetzt haben.
- K3 stellt das neueste Flaggschiff dar, ist momentan jedoch ausschließlich als Hosted-Service erhältlich. Sobald die entsprechenden Gewichte verfügbar sind, rückt es in eine höhere Hardware-Kategorie auf – nähere Informationen zur Verfügbarkeit und Hardware-Anforderungen finden Sie unter Kimi K3; falls Ihre Hardware nicht ausreicht, schauen Sie sich auch Alternative Modelle an.
Kimi K2.7-Code dient als Basis für Coding-Agenten.
Kimi K2.7-Code (June 2026) is the coding-specialized sibling of K2.6: same 1T-MoE architecture, size, and hardware requirements, but tuned for agentic engineering. It cuts reasoning-token usage roughly 30% versus K2.6 and is the default model in Moonshot’s Kimi Code CLI. If coding is the job, it’s the Kimi to serve. Die Deployment-Regeln entsprechen exakt jenen von K2.6: gleiche Größe der INT4-Gewichte, identische Nutzung von vLLM/SGLang als Server-Plattform (dabei muss lediglich die Upstream-Modell-ID aufmoonshotai/Kimi-K2.7-Code geändert werden); ebenso gilt die Einschränkung, dass es auf Ollama nur in der :cloud-Variante lauffähig ist. Sobald das Modell über Ihren Tokios-Endpunkt zugänglich ist, lässt es sich problemlos mit Coding-Agenten kombinieren – siehe dazu Verwendung mit Claude Code sowie Verwendung mit OpenAI Codex für die Client-Konfiguration.
Verknüpfen Sie das Modell mit Tokios.
Sobald Kimi auf Ihrem eigenen Server läuft – sei es über vLLM oder SGLang mit einem OpenAI-kompatiblen/v1-Interface – können Sie den Tokios Connector einrichten, sodass Sie es als https://api.tokios.com aus Claude Code, Cline oder anderen kompatiblen Clients nutzen können, statt nur innerhalb Ihres lokalen Netzwerks.
1
Richten Sie den Tokios Connector ein.
Melden Sie sich unter tokios.com/console an, öffnen Sie den Setup-Reiter und klicken Sie auf Start pairing, um einen einmalig gültigen Claim-Code (Then approve the device on the Setup or Connectors tab.
TKS-XXXX-XXXX) zu erhalten. Installieren und starten Sie anschließend den Connector auf dem Server, auf dem Kimi installiert ist.Linux
2
Weisen Sie den Connector auf das /v1-API Ihrer Laufzeitumgebung hin.
Sowohl vLLM als auch SGLang stellen ein OpenAI-kompatibles Interface bereit – meist unter
http://127.0.0.1:8000/v1. Geben Sie diese Adresse als Upstream-Modell-ID in tokios-connector.json an; weitere Details finden Sie unter Connector-Konfiguration.3
Eine Deployment-Registration vornehmen
Wechseln Sie im Models-Reiter zum Abschnitt für die Modellregistrierung und wählen Sie einen öffentlichen Namen für die Deployment aus, etwa
kimi-tunnel. Dieser Name – nicht die Upstream-Modell-ID – wird von Clients im Feld model übermittelt.4
Erstellung eines API-Schlüssels
Im selben Keys-Reiter klicken Sie auf Create key. Kopieren Sie anschließend den
sk-tok-…-Schlüssel – er wird nur ein einziges Mal angezeigt.Nutzung von überall aus
Wichtige Hinweise
- Kimi K2.x is a 1T-parameter MoE — all trillion parameters must fit in memory even though only ~32B are active per token. This is a multi-GPU-server or big-RAM-workstation model, not a single-GPU one.
- Die
kimi-*-Tags von Ollama sind ausschließlich für:cloudbestimmt – sie werden auf Ollamas Infrastruktur ausgeführt, nicht auf Ihrer eigenen. Für einen Connector gibt es nichts Lokales, worauf er zugreifen könnte; falls Sie Kimi auf Ihrer eigenen Hardware nutzen möchten, sollten Sie vLLM bzw. SGLang selbst hosten. - Kimi ships at native INT4; don’t upcast to BF16 to run it.
- Kimi K3 is hosted-only until its weights arrive (promised by July 27, 2026) — the Kimi K3 page tracks availability and what to verify before self-hosting it.
- Moonshot veröffentlicht regelmäßig neue Kimi-Versionen und zieht ältere Vorabversionen zurück; prüfen Sie daher vor der Standardisierung die aktuelle Upstream-Modell-ID unter platform.kimi.com/docs/models.
Kimi K3
Das führende Flaggschiff mit einem Upstream-Modell-ID von 2.8T: welche Modelle aktuell verfügbar sind und welche Hardware dafür erforderlich ist.
What to run instead of K3
Passt K3 nicht auf Ihre Hardware? Hier finden Sie das optimale Modell für Ihre spezifischen Voraussetzungen samt einer ausführlichen Deployment-Anleitung.
Welche Modellgröße eignet sich für Ihre GPU?
Die Berechnungen, die erklären, warum ein Modell mit einem Upstream-Modell-ID von 1T nach einem Server, nicht nach einem Desktop, verlangt.
Ein Heimlabor-GPU-Server
So bauen Sie die Multi-GPU-Plattform, die ein Modell wie Kimi benötigt.
Welches lokale Modell eignet sich für welche Aufgabe?
Leichtere Modelle, die auf der Hardware laufen, die Sie bereits besitzen.