Exécutez Kimi K3 en local : matériel et réalité de l'auto-hébergement

​

Quelles options sont disponibles ?

​

Kimi K3 en un coup d’œil

​

Pouvez-vous exécuter Kimi K3 en local ?

​

Exigences matérielles de Kimi K3

​

Servir K3 en local

vllm serve "moonshotai/Kimi-K3"

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "moonshotai/Kimi-K3",
    trust_remote_code=True
)

​

Pourquoi l’architecture importe pour l’auto-hébergement

• Kimi Delta Attention (KDA) — une conception hybride d’attention linéaire qui rend les prompts de millions de tokens moins chers à préremplir. Il nécessite des noyaux correspondants et des sémantiques de cache : Moonshot indique que le cache de préfixe conventionnel ne correspond pas proprement à KDA et que sa contribution au cache de préremplissage vLLM est livrée avec les poids. Un runtime qui se contente de charger les poids n’est pas automatiquement compatible K3.
• Attention Residuals (AttnRes) — des couches récupèrent sélectivement des représentations utiles depuis des profondeurs antérieures au lieu d’ajouter la sortie de chaque couche avec un poids fixe. L’article AttnRes de Moonshot rapporte un flux d’information plus stable dans les modèles profonds.
• Stable LatentMoE — 16 experts actifs + 2 experts partagés routés par token sur 896 au total. L’activation sparse réduit le calcul par token, mais elle ne réduit pas le checkpoint stocké : chaque expert doit rester résident à travers le cluster de service, ce qui fait des interconnexions rapides une exigence de premier ordre.
• MoonViT-V2 — un encodeur visuel de 401M paramètres qui traite les entrées texte, image et vidéo nativement.
• MXFP4 natif — l’entraînement avec quantification-aware a été mené depuis l’étape de fine-tuning supervisé, ciblant des poids MXFP4 et des activations MXFP8. C’est le format de service prévu, pas un quant communautaire — donc le chiffre de 4-bit ci-dessus est un plancher, pas un compromis.

​

Comportement de l’API K3 à préserver

• K3 raisonne toujours. Utilisez le reasoning_effort: "max" de niveau supérieur ; n’envoyez pas le paramètre thinking de K2.x.
• Les réponses en streaming séparent le raisonnement dans reasoning_content et la réponse finale dans content.
• Pour les conversations multi-tours et les boucles d’outils, rejouez le message assistant complet, y compris le raisonnement préservé et les champs d’appel d’outils. Ne renvoyer que content peut déstabiliser les tours suivants.
• max_completion_tokens a pour défaut 131,072 et peut être réglé jusqu’à 1,048,576.
• L’API de lancement fixe les valeurs d’échantillonnage. Moonshot recommande d’omettre temperature, top_p, n, et les paramètres de pénalité plutôt que de les outrepasser.
• Les URLs d’images publiques ne sont pas acceptées. Envoyez des données base64 ou une référence ms://<file-id>.

​

Connectez K3 avec Tokios

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

Appelez-le depuis n’importe où

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kimi-k3-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Audit this repository and propose a phased refactor."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model kimi-k3-tunnel

​

Mises en garde du lancement

• Les résultats de benchmark de K3 sont rapportés par Moonshot. La reproduction indépendante nécessite la configuration d’évaluation.
• Moonshot avertit que perdre l’historique de raisonnement préservé, ou basculer une session existante d’un autre modèle vers K3, peut rendre la sortie instable.
• K3 est entraîné pour des tâches longues et difficiles et peut agir de manière trop proactive quand les instructions sont ambiguës. Mettez des limites explicites dans votre invite système ou AGENTS.md.
• Une limite de 1M tokens est un maximum, pas une cible. Les contextes longs augmentent le temps de préremplissage, le stockage du cache et le coût d’inférence.
• La licence Kimi K3 est personnalisée — lisez la fiche du modèle pour les termes avant de déployer en production.

​

FAQ