Last verified: 2026-10-14
La réponse courte par matériel
Chaque modèle ci-dessus est téléchargeable et servable aujourd’hui. Les lignes sont ordonnées par mémoire, pas par capacité — choisissez votre matériel, puis lisez cette catégorie ci-dessous. Une mise en garde sur la ligne grande RAM : Kimi K2.6 et K2.7-Code atteignent une vitesse interactive sur un serveur multi-GPU, mais sur une station de travail à offload RAM uniquement ils s’exécutent à quelques tokens par seconde — suffisant pour du traitement par lots, lent pour des agents de codage.
Vous avez trouvé votre catégorie ? Connectez-la ensuite
Appariez le connecteur Tokios et enregistrez un nom de déploiement en environ 5 minutes, puis appelez votre modèle depuis n’importe où.
Ce qui se rapproche le plus de K3 : Kimi K2.6 et K2.7-Code
Si vous voulez K3 spécifiquement parce que c’est Kimi, le substitut honnête est le reste de la famille Kimi. Kimi K2.6 (flagship général) et Kimi K2.7-Code (spécialisé codage, le par défaut dans le CLI Kimi Code de Moonshot) sont des MoE à poids ouverts de 1T paramètres — un niveau matériel complet en dessous de K3. Ils sont distribués en INT4 natif (~595 GB sur disque), donc ils nécessitent un serveur multi-GPU ou une station de travail à grande RAM, pas un bureau, mais ils sont téléchargeables maintenant. C’est la réponse « exécuter à la place » la plus forte de la page parce que ce n’est pas du tout un substitut — c’est la même famille, avec le même appel d’outils agentique et la même entrée multimodale, à une taille que du matériel réel peut contenir. Consultez Modèles Kimi pour le chemin de service vLLM/SGLang et les options de quant.Les tags
kimi-* de Kimi sur Ollama sont :cloud-uniquement — ils s’exécutent sur l’infrastructure d’Ollama, pas la vôtre, donc il n’y a rien de local vers lequel un connecteur peut pointer. Auto-hébergez les poids avec vLLM ou SGLang si vous voulez Kimi sur du matériel que vous contrôlez.Strix Halo (128 GB unifiée)
Un AMD Ryzen AI Max+ 395 expose environ 96 GB au GPU après allocation BIOS et pilotes. Les modèles MoE dans la gamme 35B–122B sont le point idéal — ils s’exécutent 3–14× plus vite qu’un modèle dense du même nombre de paramètres.- Codage / agents : Qwen3-Coder-30B à Q4_K_M (~19 GB) est le choix de la communauté pour Cline, Aider et opencode, à environ 10–15 tok/s.
- Général / raisonnement : GLM-4.5-Air (106B MoE, ~60 GB) est le choix qualité ; Qwen3.5-122B-A10B (~70 GB) est l’option capacité maximale. Tous deux atteignent environ 10–15 tok/s à Q4_K_M.
1 DGX Spark (128 GB unifiée)
Un seul Spark a environ 115–120 GB utilisables après overhead système. Il exécute des modèles denses jusqu’à ~70B à Q4 et des modèles MoE jusqu’à ~120B au total en NVFP4 — NVFP4 est le défaut recommandé sur le GPU SM121.- Codage / agents : Qwen3.5-35B-A3B à NVFP4 (~18 GB) soutient 47–50 tok/s ; le plus récent Qwen3.6-35B-A3B atteint jusqu’à ~120 tok/s avec le moteur Atlas. Qwen3-Coder-30B est l’alternative ajustée pour le codage.
- Général / raisonnement : GLM-4.5-Air (106B MoE, ~53 GB) est le choix qualité le plus largement rapporté ; Qwen3.5-122B-A10B (~61 GB) est le plus grand MoE qui rentre, à ~30 tok/s.
2 DGX Sparks (256 GB combinés)
Un second Spark ne débloque pas un « plus gros Kimi. » Il débloqueDeepSeek-V4-Flash-0731 : 2 nœuds fournissent 256 GB de mémoire unifiée agrégée pour son plancher de poids d’environ 162–167 GB. La route est testée par la communauté plutôt que vérifiée par le vendeur pour 0731, donc commencez à 32K de contexte et revalidez le chargement du modèle, les appels d’outils et la génération soutenue. Un modèle dense de 405B à FP8 nécessite environ 405 GB pour les poids seuls et ne rentre pas dans 2 Sparks.
Si votre objectif est un grand modèle de codage plutôt que plus de concurrence, passez à 4 Sparks — Qwen3-Coder-480B nécessite un plancher mémoire d’environ 250 GB+ et n’obtient de vraie marge KV-cache qu’à 512 GB. Consultez Un vs deux DGX Sparks pour le cadre de décision et les chiffres de débit.
4 DGX Sparks (512 GB combinés)
4 nœuds est le maximum documenté par NVIDIA pour les clusters Spark, positionné pour des modèles jusqu’à environ 700B paramètres. C’est la catégorie qui rend le verdict de K3 concret : même doubler au-delà de 4 Sparks à 8 reste 376 GB en deçà de K3 — donc 4 Sparks est l’endroit où vous exécutez les plus grands modèles qui rentrent.- Codage / agents : Qwen3-Coder-480B (grand codeur MoE, ~250 GB+ de plancher mémoire) s’exécute ici avec la marge KV-cache qui lui manquait à 256 GB.
- Général / raisonnement : Commencez avec
DeepSeek-V4-Flash-0731, la version officielle actuelle avec appel d’outils et contexte 1M. DeepSeek-R1 671B àQ4_K_M(~404 GB) rentre aussi quand vous avez spécifiquement besoin de la famille R1 plus ancienne.
Serveur à grande RAM ou multi-GPU (256 GB+)
C’est la catégorie où vivent les vraies alternatives à K3, car c’est là que s’exécute le reste de la famille Kimi. Sur un serveur datacenter 8×80 GB, servez Kimi K2.6 ou K2.7-Code avec vLLM à--tensor-parallel-size 8 pour une vitesse interactive. Sur une station de travail à 256 GB+ de RAM avec offload GPU, un GGUF communautaire exécute un quant à bit bas lentement — quelques tokens par seconde, pas interactif.
- Codage / agents : Kimi K2.7-Code — le MoE de 1T spécialisé codage de Moonshot.
- Général / raisonnement : Kimi K2.6 pour le travail agentique mixte ; MiniMax M3 (428B / 23B actifs) ou GLM-5.2 sont de fortes options non-Kimi à cette catégorie.
Single consumer GPU (8–24 GB)
Une seule carte de 24 GB est une catégorie d’outil différente de K3 — ajustez vos attentes en conséquence. C’est excellent pour de l’aide rapide en codage local et du chat général, pas pour du raisonnement frontier.- Codage / agents : Qwen3-Coder-30B-A3B à Q4_K_M (19 GB) est un ajustement confortable sur une carte de 24 GB.
- Général / raisonnement : gpt-oss-20b en MXFP4 natif (14 GB) rentre confortablement et expose un effort de raisonnement low/medium/high.
Connectez votre choix avec Tokios
Une fois votre modèle choisi en cours d’exécution sur un runtime local — Ollama, llama.cpp, vLLM ou SGLang exposant un/v1 compatible OpenAI — le connecteur Tokios compose vers l’extérieur et vous donne un point de terminaison authentifié unique à https://api.tokios.com, sans ports entrants ni VPN. Chaque page de modèle ci-dessus contient la procédure complète ; la version courte :
1
Appariez le connecteur
Connectez-vous sur tokios.com/console, ouvrez Setup, cliquez sur Start pairing, et exécutez l’installateur sur la machine servant votre modèle avec le code d’appairage unique Puis approve l’appareil dans l’onglet Setup ou Connectors.
TKS-XXXX-XXXX.Windows
macOS
Linux
2
Enregistrez un déploiement
Pointez le connecteur vers l’URL de base
/v1 de votre runtime et enregistrez l’id de modèle upstream sous un nom de déploiement public — consultez enregistrer un modèle.3
Créez une clé API
Dans l’onglet Keys, cliquez sur Create key et copiez la clé
sk-tok-… maintenant — elle n’est affichée qu’une seule fois.Appelez-le depuis n’importe où
FAQ
What is the best local alternative to Kimi K3?
What is the best local alternative to Kimi K3?
Cela dépend de votre matériel. Si vous voulez Kimi spécifiquement, exécutez Kimi K2.6 (général) ou Kimi K2.7-Code (codage) sur un serveur multi-GPU — même famille, un niveau en dessous. Sur un seul DGX Spark, le meilleur choix polyvalent est GLM-4.5-Air pour la qualité ou Qwen3.5-35B-A3B pour la vitesse. Sur Strix Halo, Qwen3-Coder-30B pour le codage et GLM-4.5-Air pour l’usage général.
What is the best coding model for a DGX Spark?
What is the best coding model for a DGX Spark?
Qwen3.5-35B-A3B à NVFP4 — 47–50 tok/s sur 1 Spark (le plus récent Qwen3.6-35B-A3B atteint jusqu’à ~120 tok/s avec le moteur Atlas) — ou le Qwen3-Coder-30B ajusté pour le codage. Pour un grand MoE de codage, vous avez besoin d’un cluster 4-Spark (Qwen3-Coder-480B). Consultez Compatibilité des modèles DGX Spark.
Is there a model like Kimi K3 that runs on 128 GB?
Is there a model like Kimi K3 that runs on 128 GB?
Pas K3 lui-même — son plancher est d’environ 1.4 TB. Mais 128 GB (1 DGX Spark ou un boîtier Strix Halo) exécute confortablement des modèles MoE de classe 100B comme GLM-4.5-Air qui délivrent une forte qualité agentique et de raisonnement. C’est la catégorie frontier-adjacente réaliste pour une seule machine de 128 GB.
Can I run any Kimi model locally?
Can I run any Kimi model locally?
Oui — Kimi K2.6 et Kimi K2.7-Code sont des MoE de 1T à poids ouverts en INT4 natif (~595 GB), donc ils s’exécutent sur un serveur multi-GPU (interactif) ou une station de travail à grande RAM avec offload (lentement — quelques tokens par seconde). Seul K3 est hors de portée sur du matériel auto-détenu. Consultez Modèles Kimi.
Why not just run K3?
Why not just run K3?
Les poids sont disponibles (publiés le 27 juillet 2026 — consultez Exécuter Kimi K3 en local), mais le plancher de K3 d’environ 1.4 TB exclut toute configuration grand public et prosumer, donc les modèles de cette page restent vos options locales réalistes.
Exécuter Kimi K3 en local
Le tableau de disponibilité et pourquoi aucun rig que vous possédez ne peut héberger K3 aujourd’hui.
Modèles Kimi
Auto-hébergez K2.6 et K2.7-Code — les modèles Kimi téléchargeables les plus proches.
Compatibilité des modèles DGX Spark
Les tableaux de compatibilité complets, les formats de quant et les modèles recommandés par cas d’usage.
Quelle taille de modèle rentre dans votre GPU ?
Vérifiez n’importe quel modèle par rapport à votre matériel exact avant de vous engager.