Last verified: 2026-10-14
Die Kimi-Aufstellung auf einen Blick
Fragen Sie sich, ob Sie Kimi K3 lokal ausführen können? Die Gewichte sind da (veröffentlicht am 27. Juli 2026), aber der Boden liegt bei roughly 1.4 TB Speicher. Der Rest dieser Seite behandelt die Kimi-Modelle, die Sie heute herunterladen können.
Wenn Sie nur Kimis Antworten wollen und es Ihnen egal ist, wo sie laufen, ist Moonshots gehostete API (platform.kimi.com) der einfache Weg. Tokios ist für den Fall, dass Sie die Gewichte auf Ihrer Hardware wollen — einem ernsthaften Multi-GPU- oder High-RAM-Rig — und einem privaten, authentifizierten Endpunkt davor.
Können Sie Kimi lokal ausführen?
Ehrlich: nicht auf einem normalen Desktop. Kimi K2.6 wird bereits in native INT4 ausgeliefert — das ist das kleine Format — und es sind immer noch etwa 595 GB über 64 Checkpoint-Shards. Es gibt keine Consumer-GPU und keine einzelne Datacenter-GPU, die es hält. Die realistischen Optionen:
Community Re-Quantisierungen tauschen Qualität gegen Größe, ändern aber nicht die Schlussfolgerung:
bartowski/moonshotai_Kimi-K2.6-GGUF reicht von einem extremen IQ1_S bei ~207 GB bis zu Q4_0 bei ~584 GB, und Unsloths dynamischer 2-Bit-Build (~340–350 GB) will immer noch ein 350 GB+ kombiniertes VRAM/RAM-Budget. Als Faustregel planen Sie RAM + VRAM ungefähr gleich der Quant-Größe. Für die meisten ist Kimi ein Cloud/API-Modell — und das ist eine gute Antwort. Betreiben Sie es lokal nur, wenn Sie das Rig dafür haben.
”Kimi auf Ollama” ist Cloud, nicht lokal
Kimi K2.x-Modelle sind in der Ollama-Bibliothek —kimi-k2.6, kimi-k2.7-code, kimi-k2.5 — aber jedes davon bietet nur einen :cloud-Tag an. Ollamas Cloud-Modelle laden nicht herunter; Anfragen werden an Ollamas gehostete Infrastruktur proxyt, während Sie angemeldet bleiben. Also ollama run kimi-k2.6:cloud ist bequem, aber es ist kein Selbsthosten — die Gewichte berühren nie Ihre Maschine, und es gibt nichts Lokales, auf das ein Connector zeigen könnte.
Wenn Ihr Ziel Kimi auf Hardware ist, die Sie kontrollieren, überspringen Sie den :cloud-Tag und hosten Sie die Gewichte selbst mit einer Server-Runtime, unten. Tokios fronted dann Ihre Deployment, nicht die Cloud eines anderen.
Betreiben Sie es auf Ihrer eigenen Hardware
Moonshots Deployment-Doks zielen auf produktionsreife Runtimes — vLLM, SGLang und KTransformers — nicht auf Single-GPU-Stacks. Auf einem Multi-GPU-Server bedienen Sie die nativen INT4-Gewichte und legen einen OpenAI-kompatiblen Endpunkt frei:- vLLM (official path, multi-GPU server)
- Community GGUF (big-RAM rig)
http://127.0.0.1:8000/v1 — darauf zeigt der Tokios-Connector. Prüfen Sie die Modellkarte für die aktuell empfohlenen Flags und einen Tool-Call-Parser vor dem Serving.Varianten & Specs
Jeder Wert unten stammt aus den Moonshot-Modellkarten auf Hugging Face und Moonshots Plattform-Doks. Überprüfen Sie gegen die Modellkarte, bevor Sie sich auf eines festlegen — Moonshot veröffentlicht neue Kimi-Releases roughly monatlich.
Sources:
moonshotai/Kimi-K2.6, moonshotai/Kimi-K2.7-Code, platform.kimi.com/docs/models, ollama.com/library/kimi-k2.6.
Kimis Modified MIT-Lizenz ist für die meisten Nutzungen permissiv, fügt aber eine Attributionsklausel für sehr große kommerzielle Deployments hinzu (Anzeige von “Kimi K2.6” in der UI Ihres Produkts ab einem hohen MAU/Umsatz-Schwellenwert). Lesen Sie die
LICENSE-Datei auf der Modellkarte, bevor Sie ein kommerzielles Produkt darauf bauen.Fähigkeiten
- Agentisches Tool-Calling — K2.x ist für Tool-Nutzung und mehrstufige Agenten-Schleifen trainiert. Wenn Sie es mit vLLM oder SGLang betreiben, aktivieren Sie den vom Modellkarte empfohlenen Tool-Call-Parser, damit
tools-Anfragen über Ihren Endpunkt funktionieren. - Native multimodale Eingabe — Text-, Bild- und Video-Verständnis über die gesamte K2.x-Linie.
- Reasoning — K2.x legt Thinking über Moonshots
thinking-API-Parameter frei. Kimi K3 ersetzt es durch ein Top-Level-reasoning_effort— vermischen Sie die beiden Konventionen nicht; siehe die Kimi K3-Seite für K3s Protokoll-Details. - 256K Kontext — lang genug für Repository-große Coding-Sessions, aber budgetieren Sie KV-Cache-Speicher zusätzlich zu den Gewichten, wenn Sie ein Langkontext-Deployment dimensionieren.
Welches Kimi sollten Sie betreiben?
- K2.6 ist Moonshots herunterladbares Allzweck-Flaggschiff — greifen Sie danach für Schreiben, Analyse, Konversation und gemischte Agenten-Arbeit.
- K2.7-Code ist auf Coding und Agenten-Aufgaben zugeschnitten — siehe den eigenen Abschnitt unten.
- K2.5 ist das vorherige Flaggschiff, weiterhin verfügbar, wenn Sie bereits darauf standardisiert haben.
- K3 ist das Frontier-Flaggschiff (Gewichte veröffentlicht am 27. Juli 2026), aber es bewegt eine ganze Hardware-Stufe nach oben — siehe Kimi K3 für Hardware-Anforderungen oder was Sie stattdessen betreiben können, wenn es nicht auf Ihre Hardware passt.
Kimi K2.7-Code für Coding-Agenten
Kimi K2.7-Code (Juni 2026) ist der auf Coding spezialisierte Geschwister von K2.6: gleiche 1T-MoE-Architektur, gleiche Größe und gleiche Hardware-Anforderungen, aber abgestimmt auf Agenten-Engineering. Es schneidet den Reasoning-Token-Verbrauch roughly 30% gegenüber K2.6 und ist das Standardmodell in Moonshots Kimi Code CLI. Wenn Coding der Job ist, ist es das Kimi, das Sie betreiben sollten. Es teilt exakt K2.6s Deployment-Geschichte — die gleiche INT4-Gewichtsgröße, der gleiche vLLM/SGLang-Serving-Pfad (tauschen Sie die Modell-ID gegenmoonshotai/Kimi-K2.7-Code), und die gleiche :cloud-only-Situation bei Ollama. Sobald es hinter Ihrem Tokios-Endpunkt steht, paart es sich natürlich mit Coding-Agenten: siehe Claude Code verwenden und OpenAI Codex verwenden für die Client-Einrichtung.
Mit Tokios verbinden
Sobald Kimi auf Ihrem eigenen Server läuft — vLLM oder SGLang mit einem OpenAI-kompatiblen/v1 — koppeln Sie den Tokios-Connector, damit Sie es als https://api.tokios.com von Claude Code, Cline oder jedem anderen kompatiblen Client aus erreichen können, statt nur aus Ihrem LAN.
1
Pair the Tokios connector
Melden Sie sich bei tokios.com/console an, öffnen Sie den Setup-Tab und klicken Sie auf Start pairing, um einen einmaligen Pairing-Code (Dann approve Sie das Gerät auf dem Setup- oder Connectors-Tab.
TKS-XXXX-XXXX) zu erhalten. Installieren und betreiben Sie den Connector auf dem Server, der Kimi hostet:Windows
macOS
Linux
2
Point the connector at your runtime's /v1 API
vLLM und SGLang legen eine OpenAI-kompatible Oberfläche frei — typisch
http://127.0.0.1:8000/v1. Setzen Sie das als Upstream in tokios-connector.json — siehe Connector-Konfiguration.3
Register a deployment
Registrieren Sie im Models-Tab das Modell und wählen Sie einen öffentlichen Deployment-Namen, zum Beispiel
kimi-tunnel. Dieser Name — nicht die Upstream-Modell-ID — ist es, was Clients im model-Feld senden.4
Create an API key
Klicken Sie im Keys-Tab auf Create key. Kopieren Sie den
sk-tok-…-Schlüssel jetzt — er wird nur einmal angezeigt.Von überall aufrufen
Einschränkungen
- Kimi K2.x ist ein 1T-Parameter-MoE — alle Billion Parameter müssen in den Speicher passen, obwohl nur ~32B pro Token aktiv sind. Dies ist ein Multi-GPU-Server- oder Big-RAM-Workstation-Modell, kein Single-GPU-Modell.
- Ollamas
kimi-*-Tags sind:cloud-only — sie laufen auf Ollamas Infrastruktur, nicht auf Ihrer. Es gibt nichts Lokales, auf das ein Connector zeigen könnte; selbst hosten mit vLLM/SGLang, wenn Sie Kimi auf eigener Hardware wollen. - Kimi wird in native INT4 ausgeliefert; nicht auf BF16 upcasten, um es auszuführen.
- Kimi K3-Gewichte sind verfügbar (veröffentlicht am 27. Juli 2026) — die Kimi K3-Seite behandelt Hardware-Anforderungen und was zu überprüfen ist, bevor Sie es selbst hosten.
- Moonshot veröffentlicht Kimi-Versionen häufig und deprecates ältere Previews — bestätigen Sie die aktuelle Modell-ID auf platform.kimi.com/docs/models, bevor Sie standardisieren.
Kimi K3
Das 2.8T-Frontier-Flaggschiff: was jetzt verfügbar ist und die Hardware-Realität.
What to run instead of K3
K3 passt nicht? Das beste Modell für Ihre genaue Hardware, mit dem Deployment-Guide.
What size model fits your GPU?
Die Dimensionierungsmathematik hinter der Tatsache, dass ein 1T-MoE einen Server braucht, keinen Desktop.
Homelab GPU server
Bauen Sie das Multi-GPU-Rig, das ein Modell wie Kimi wirklich braucht.
Which local model for which task?
Leichtere Modelle, die auf Hardware laufen, die Sie bereits besitzen.