Kimi K3 lokal ausführen: Hardware und die Realität des Selbsthostings

​

Was ist verfügbar?

​

Kimi K3 im Überblick

​

Können Sie Kimi K3 lokal ausführen?

​

Kimi K3 Hardware-Anforderungen

​

K3 lokal betreiben

vllm serve "moonshotai/Kimi-K3"

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "moonshotai/Kimi-K3",
    trust_remote_code=True
)

​

Warum die Architektur für das Self-Hosting wichtig ist

• Kimi Delta Attention (KDA) — ein hybrides Linear-Attention-Design, das die Vorverarbeitung von Millionen Token günstiger macht. Es benötigt passende Kernel und Cache-Semantiken: Moonshot sagt, dass herkömmliches Prefix-Caching nicht sauber auf KDA abbildet und dass sein vLLM-Prefill-Cache-Beitrag mit den Gewichten ausgeliefert wird. Eine Laufzeit, die nur die Gewichte lädt, ist nicht automatisch K3-kompatibel.
• Attention Residuals (AttnRes) — Schichten, die gezielt nützliche Repräsentationen aus früherer Tiefe abrufen, statt die Ausgabe jeder Schicht mit festem Gewicht zu addieren. Moonshots AttnRes-Paper berichtet von stabilerem Informationsfluss in tieferen Modellen.
• Stable LatentMoE — 16 aktive + 2 geteilte Experten werden pro Token über 896 insgesamt geroutet. Sparse-Aktivierung reduziert den Compute-Aufwand pro Token, aber sie verkleinert den gespeicherten Checkpoint nicht: jeder Experte muss im Serving-Cluster präsent bleiben, was schnelle Interconnects zu einer Anforderung erster Ordnung macht.
• MoonViT-V2 — ein 401M-Parameter-Vision-Encoder, der Text-, Bild- und Videoeingaben nativ verarbeitet.
• Natives MXFP4 — das Quantisierungs-bewusste Training lief ab der Supervised-Feinabstimmungs-Phase und zielte auf MXFP4-Gewichte und MXFP8-Aktivierungen ab. Dies ist das vorgesehene Serving-Format, kein Community-Quant — die 4-Bit-Angabe oben ist also eine Basis, kein Kompromiss.

​

K3-API-Verhalten, das Sie beibehalten sollten

• K3 reasoning immer. Verwenden Sie das Top-Level-reasoning_effort: "max"; senden Sie nicht K2.x’s thinking-Parameter.
• Streaming-Antworten trennen das Reasoning in reasoning_content und die finale Antwort in content.
• Für Multi-Turn-Gespräche und Tool-Schleifen müssen Sie die vollständige Assistentennachricht wiedergeben, einschließlich des aufbewahrten Reasonings und der Tool-Call-Felder. Nur content zurückzugeben kann spätere Turns destabilisieren.
• max_completion_tokens ist standardmäßig 131,072 und kann bis zu 1,048,576 gesetzt werden.
• Die Launch-API fixiert die Sampling-Werte. Moonshot empfiehlt, dass Sie temperature, top_p, n und Penalty-Parameter weglassen statt sie zu überschreiben.
• Öffentliche Bild-URLs werden nicht akzeptiert. Senden Sie Base64-Daten oder eine ms://<file-id>-Referenz.

​

K3 mit Tokios verbinden

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

Von überall aus aufrufen

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kimi-k3-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Audit this repository and propose a phased refactor."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model kimi-k3-tunnel

​

Hinweise zum Launch

• K3-Benchmark-Ergebnisse sind von Moonshot berichtet. Unabhängige Reproduktion erfordert das Evaluations-Setup.
• Moonshot warnt, dass der Verlust des aufbewahrten Reasoning-Verlaufs oder das Umstellen einer bestehenden Sitzung eines anderen Modells auf K3 die Ausgabe instabil machen kann.
• K3 ist für lange, schwierige Aufgaben trainiert und kann bei mehrdeutigen Anweisungen zu proaktiv handeln. Setzen Sie explizite Grenzen in Ihrem System-Prompt oder AGENTS.md.
• Ein 1M-Token-Limit ist ein Maximum, kein Ziel. Lange Kontexte erhöhen Prefill-Zeit, Cache-Speicher und Inferenzkosten.
• Die Kimi K3-Lizenz ist eigens — lesen Sie die Modellkarte für die Bedingungen vor dem Production-Einsatz.

​

FAQ