Vue d’ensemble de la gamme Kimi
Wondering whether you can run Kimi K3 locally? Short answer: not yet — the weights are not out, and when they arrive the floor is roughly 1.4 TB of memory. The rest of this page covers the Kimi models you can download today.
Si vous souhaitez simplement obtenir les réponses de Kimi sans vous soucier de l’endroit où il s’exécute, l’API hébergée par Moonshot (platform.kimi.com) constitue la solution la plus simple. Tokios s’adresse à ceux qui désirent disposer des poids du modèle sur leur propre matériel — un système multi-GPU ou doté d’une grande quantité de RAM — ainsi que d’un point d’accès privé et sécurisé.
Est-il possible d’exécuter Kimi en local ?
Honestly: not on a normal desktop. Kimi K2.6 ships already at native INT4 — that’s the small format — and it’s still about 595 GB across 64 checkpoint shards. There is no consumer GPU, and no single datacenter GPU, that holds it. The realistic options:
Les re-quantifications réalisées par la communauté ici sacrifient la qualité au profit de la taille, mais ne changent rien à la conclusion : les plages de
bartowski/moonshotai_Kimi-K2.6-GGUF vont d’une version extrêmement quantifiée de IQ1_S à environ 207 Go jusqu’à Q4_0 à environ 584 Go. Même la version dynamique à 2 bits proposée par Unsloth (~340 à 350 Go) exige un budget combiné VRAM/RAM de 350 Go ou plus. En règle générale, prévoyez une quantité de RAM et de VRAM équivalente à la taille du fichier quantifié. Pour la plupart des utilisateurs, Kimi relève d’un modèle cloud/API — et c’est une solution tout à fait valable. N’effectuez un déploiement local que si votre matériel le permet.
« Kimi sur Ollama » désigne un modèle cloud, pas un modèle local
Kimi K2.x models are in the Ollama library —kimi-k2.6, kimi-k2.7-code, kimi-k2.5 — but every one of them exposes only a :cloud tag. Ollama’s cloud models don’t download; requests are proxied to Ollama’s hosted infrastructure while you stay signed in. So ollama run kimi-k2.6:cloud is convenient, but it is not self-hosting — the weights never touch your machine, and there’s nothing local for a connector to point at.
Si vous souhaitez exploiter Kimi sur du matériel sous votre contrôle, ignorez l’étiquette :cloud et hébergez vous-même les poids du modèle via un environnement serveur, comme indiqué ci-dessous. Tokios servira alors d’interface pour votre déploiement, et non pour un service cloud tiers.
Exécutez-le sur votre propre matériel
La documentation de déploiement de Moonshot vise des environnements de production utilisant vLLM, SGLang et KTransformers, et non des configurations mono-GPU. Sur un serveur multi-GPU, il convient de servir les poids INT4 natifs et d’exposer un point de terminaison compatible OpenAI.- vLLM (méthode officielle, serveur multi-GPU)
- Version GGUF communautaire (matériel doté de beaucoup de RAM)
http://127.0.0.1:8000/v1, c’est vers ce point que pointe le connecteur Tokios. Avant de procéder au déploiement, consultez la fiche du modèle pour connaître les paramètres recommandés et le parseur de requêtes outils à utiliser.Variantes et caractéristiques techniques
Toutes les valeurs ci-dessous proviennent des fiches de modèles publiées par Moonshot sur Hugging Face et de sa documentation officielle. Vérifiez ces informations sur la fiche du modèle avant de choisir une configuration fixe, car Moonshot publie de nouvelles versions de Kimi chaque mois environ.
Sources :
moonshotai/Kimi-K2.6, moonshotai/Kimi-K2.7-Code, platform.kimi.com/docs/models, ollama.com/library/kimi-k2.6.
La licence Modified MIT de Kimi autorise la plupart des utilisations, mais prévoit une clause d’attribution pour les déploiements commerciaux de grande envergure (affichage de « Kimi K2.6 » dans l’interface de votre produit si le nombre d’utilisateurs actifs ou le chiffre d’affaires dépasse un certain seuil). Consultez le fichier
LICENSE figurant sur la fiche du modèle avant de concevoir un produit commercial.Capacités
- Appel de connecteurs agentiques : K2.x a été entraîné pour utiliser des connecteurs et exécuter des boucles d’agents multi-étapes. Lorsque vous l’utilisez via vLLM ou SGLang, activez le parseur d’appels de connecteurs recommandé dans la fiche du modèle afin que les requêtes
toolssoient traitées correctement par votre point d’accès. - Saisie multimodale native : compréhension du texte, des images et des vidéos dans toute la gamme K2.x.
- Raisonnement — K2.x affiche le processus de réflexion via le paramètre
thinkingde l’API de Moonshot. Kimi K3 utilise quant à lui un champreasoning_effortau niveau supérieur ; il ne faut pas confondre ces deux conventions. Consultez la page Kimi K3 pour en savoir plus sur le protocole de K3. - 256K contexte : suffisamment étendu pour des sessions de programmation à l’échelle d’un dépôt entier ; veillez toutefois à prévoir suffisamment de mémoire KV-cache en plus des poids lorsque vous prévoyez un déploiement à contexte long.
Quel modèle Kimi choisir ?
- K2.6 est le modèle phare téléchargeable de Moonshot, polyvalent ; il convient pour la rédaction, l’analyse, les échanges conversationnels et les tâches agentiques mixtes.
- K2.7-Code est spécialisé dans la programmation et les tâches agentiques ; reportez-vous à la section dédiée ci-dessous.
- K2.5 constitue l’ancien modèle phare ; il reste disponible si vous l’avez déjà adopté pour vos déploiements.
- K3 est le modèle phare actuel, mais pour l’instant il n’est proposé qu’en hébergement. Lorsque les poids seront disponibles, il nécessitera un niveau matériel supérieur. Consultez Kimi K3 pour connaître les conditions d’accès et les exigences matérielles, ou ce qu’il est possible d’utiliser à la place si votre matériel ne convient pas.
Kimi K2.7-Code est destiné aux agents de programmation.
Kimi K2.7-Code (juin 2026) est la variante spécialisée en programmation de K2.6 : même architecture 1T-MoE, même taille et mêmes exigences matérielles, mais optimisé pour les tâches d’ingénierie automatisée. Il réduit l’utilisation des tokens de raisonnement d’environ 30% par rapport à K2.6 ; c’est d’ailleurs le modèle par défaut dans l’outil CLI Kimi Code de Moonshot. Pour tout travail de codage, c’est le modèle Kimi idéal. Son processus de déploiement est identique à celui de K2.6 : même taille de poids INT4, même méthode de mise en service via vLLM ou SGLang (il suffit de remplacer l’ID de modèle parmoonshotai/Kimi-K2.7-Code), et il n’est pour l’instant disponible qu’en version :cloud sur Ollama. Une fois intégré à votre point de terminaison Tokios, il s’associe naturellement aux agents de programmation. Consultez Utiliser Claude Code et Utiliser OpenAI Codex pour la configuration des clients.
Connectez-le à Tokios.
Une fois Kimi opérationnel sur votre propre serveur — vLLM ou SGLang fournissant un point de terminaison/v1 compatible avec l’API OpenAI — activez le connecteur Tokios afin de pouvoir y accéder via https://api.tokios.com depuis Claude Code, Cline ou tout autre client compatible, et pas uniquement depuis votre réseau local.
1
Configurez le connecteur Tokios.
Connectez-vous à tokios.com/console, ouvrez l’onglet Setup puis cliquez sur Start pairing pour obtenir un code d’activation unique (Ensuite, ajoutez approve en tant que périphérique dans l’onglet Setup ou Connectors.
TKS-XXXX-XXXX). Installez et lancez ensuite le connecteur sur le serveur hébergeant Kimi.Linux
2
Indiquez au connecteur l’adresse de l’API /v1 de votre environnement d’exécution.
vLLM et SGLang proposent tous deux une interface compatible avec l’API OpenAI — généralement située à
http://127.0.0.1:8000/v1. Renseignez cette adresse comme ID de modèle amont dans tokios-connector.json ; consultez la configuration du connecteur pour plus de détails.3
Effectuez un déploiement
Dans l’onglet Models, enregistrez le modèle et choisissez un nom de déploiement public, par exemple
kimi-tunnel. Ce nom — et non l’ID de modèle amont — est celui que les clients transmettent dans le champ model.4
Générez une clé API
Dans l’onglet Keys, cliquez sur Create key. Copiez immédiatement la clé
sk-tok-… : elle ne s’affiche qu’une seule fois.Utilisez-la depuis n’importe où
Points à retenir
- Kimi K2.x is a 1T-parameter MoE — all trillion parameters must fit in memory even though only ~32B are active per token. This is a multi-GPU-server or big-RAM-workstation model, not a single-GPU one.
- Ollama’s
kimi-*tags are:cloud-only — they run on Ollama’s infrastructure, not yours. There’s nothing local for a connector to reach; self-host with vLLM/SGLang if you want Kimi on your own hardware. - Kimi ships at native INT4; don’t upcast to BF16 to run it.
- Kimi K3 n’est disponible qu’en hébergement jusqu’à l’arrivée de ses poids (prévue pour juillet 27, 2026) ; la page Kimi K3 indique la disponibilité et les vérifications à effectuer avant un hébergement auto.
- Moonshot publie régulièrement de nouvelles versions de Kimi et retire les préversions antérieures ; assurez-vous de connaître l’ID de modèle actuel sur platform.kimi.com/docs/models avant de procéder à une standardisation.
Kimi K3
Le fleuron de la gamme 2.8T : ce qui est disponible actuellement et les contraintes matérielles.
Quoi exécuter à la place de K3
Votre matériel ne suffit pas pour K3 ? Découvrez le modèle le plus adapté à vos composants, accompagné du guide de déploiement.
Quelle taille de modèle convient à votre GPU ?
Les calculs de dimensionnement expliquant pourquoi un modèle MoE de 1 téraoctets nécessite un serveur et non un ordinateur de bureau.
Serveur GPU pour laboratoire domestique
Comment assembler un système multi-GPU adapté aux exigences de modèles tels que Kimi.
Quel modèle local choisir selon la tâche à accomplir ?
Des modèles plus légers compatibles avec le matériel que vous possédez déjà.