Skip to main content
Kimi K3 is the model you came for, but it does not fit on hardware you own. Its 2.8T parameters need about 1.4 TB at the native 4-bit floor — even 8 DGX Sparks (1 TB pooled) fall 376 GB short, and Moonshot targets K3 at a supernode with 64 or more accelerators. See Run Kimi K3 locally for the availability picture and the DGX Spark memory math for the full calculation. So the useful question is not “how do I run K3” — it’s “what is the closest model that actually runs on my machine, today?” This page answers that by hardware tier.
すでに下記のモデルのいずれかを運用中ですか？ Tokiosに登録すれば、任意のOpenAIやAnthropic互換クライアントからhttps://api.tokios.comとしてそのモデルにアクセス可能です。詳細はページ下部のTokiosでモデルを接続する方法を参照してください。

​
ハードウェア別の簡易回答

上記の各モデルは現在ダウンロードして利用可能です。各行は性能順ではなくメモリ容量順に並んでいます。ご自身のハードウェアを選んだ後、該当する階層をご確認ください。大容量メモリを要する階層に関しては注意点があります。Kimi K2.6およびK2.7-Codeは複数GPU搭載サーバー上ではインタラクティブな速度で動作しますが、メモリオフロードのみで運用するワークステーションでは毎秒数個のトークンしか処理できません。バッチ処理には問題ありませんが、コーディングエージェント用途には遅すぎます。

該当する階層が見つかりましたか？次にそれを接続してください

Tokiosコネクターをペアリングし、約5分でデプロイ名を登録すれば、どこからでもご自身のモデルを呼び出せるようになります。

​
K3に最も近い存在といえば、Kimi K2.6およびK2.7-Codeです。

If you want K3 specifically because it is Kimi, the honest substitute is the rest of the Kimi family. Kimi K2.6 (general flagship) and Kimi K2.7-Code (coding-specialized, the default in Moonshot’s Kimi Code CLI) are 1T-parameter open-weight MoEs — one full hardware tier below K3. They ship at native INT4 (~595 GB on disk), so they need a multi-GPU server or a big-RAM workstation, not a desktop, but they are downloadable now. この回答こそがページ内で「代わりに利用できる」最適な選択肢です。なぜならこれらは単なる代替品ではなく、同じファミリーに属し、同様のエージェント型ツール呼び出し機能やマルチモーダル入力も備えている上に、現実的なハードウェアでも扱えるサイズだからです。vLLMやSGLangによるサービング方法や量子化オプションについては、Kimiモデルをご覧ください。
Kimi’s kimi-* tags on Ollama are :cloud-only — they run on Ollama’s infrastructure, not yours, so there is nothing local for a connector to reach. Self-host the weights with vLLM or SGLang if you want Kimi on hardware you control.

​
Strix Halo（統合メモリ容量は128GB）

AMD Ryzen AI Max+ 395では、BIOSおよびドライバーの割り当て後、GPU側に約96GBのメモリが利用可能となります。パラメータ数が35Bから122Bの範囲にあるMoEモデルが最適な選択肢で、同じパラメータ数の非MoEモデルと比べて3倍から14倍もの高速処理が可能です。
  • コーディング／エージェント用途： Qwen3-Coder-30B（Q4_K_M版、サイズは約19GB）は、ClineやAider、OpenCode向けにコミュニティで広く利用されているモデルで、生成速度は約10から15トークン/秒です。
  • General / reasoning: GLM-4.5-Air (106B MoE, ~60 GB) is the quality pick; Qwen3.5-122B-A10B (~70 GB) is the maximum-capability option. Both land around 10–15 tok/s at Q4_K_M.
完全な互換性表や量子化形式、VulkanとROCmの比較情報については、Strix Haloモデル互換性およびStrix Halo上でのモデルサービング方法をご参照ください。

​
1 DGX Spark（統合メモリ容量は128GB）

A single Spark has ~115–120 GB usable after system overhead. It runs dense models up to ~70B at Q4 and MoE models up to ~120B total at NVFP4 — NVFP4 is the recommended default on the SM121 GPU.
  • Coding / agents: Qwen3.5-35B-A3B at NVFP4 (~18 GB) sustains 47–50 tok/s; the newer Qwen3.6-35B-A3B reaches up to ~120 tok/s with the Atlas engine. Qwen3-Coder-30B is the coder-tuned alternative.
  • 概要／推論性能： GLM-4.5-Air（106B個のMoEモジュール、約53ギガバイト）が最も高品質な選択肢として広く推奨されています。また、Qwen3.5-122B-A10B（約61ギガバイト）は搭載可能な最大規模のMoEモデルであり、生成速度は約30トークン毎秒です。
対応可能なモデル一覧については DGX Sparkモデル互換性 を、起動コマンドについては DGX Spark上のvLLM を参照してください。

​
2基のDGX Spark（合計で約256ギガバイトのメモリ）

A second Spark does not unlock a “bigger Kimi.” It does unlock DeepSeek-V4-Flash-0731: 2 nodes provide 256 GB of aggregate unified memory for its roughly 162–167 GB weight floor. The route is community-tested rather than vendor-verified for 0731, so start at 32K context and revalidate model load, tool calls, and sustained generation. A 405B dense model at FP8 needs roughly 405 GB for weights alone and does not fit in 2 Sparks. より多くの並列処理ではなく大規模なコーディング用モデルを求める場合は、4基のSparkを選んでください。Qwen3-Coder-480B は最低でも約250ギガバイトのメモリが必要で、実用的なKVキャッシュ余裕量が得られるのは512ギガバイト以上の環境です。One vs two DGX Sparks にて判断基準や実際のスループット数値を確認できます。

​
4基のDGX Spark（合計で約512ギガバイトのメモリ）

4 nodes is NVIDIA’s documented maximum Spark cluster, positioned for models up to about 700B parameters. This is the tier that makes the K3 verdict concrete: even doubling past 4 Sparks to 8 still falls 376 GB short of K3 — so 4 Sparks is where you run the largest models that do fit.
  • コーディング／エージェント用途： Qwen3-Coder-480B は大規模なMoEコーディングモデルで、最低でも約250ギガバイトのメモリが必要です。256ギガバイト環境では得られなかったKVキャッシュ余裕量がここでは確保できます。
  • General / reasoning: Start with DeepSeek-V4-Flash-0731, the current official release with tool calling and 1M context. DeepSeek-R1 671B at Q4_K_M (~404 GB) also fits when you specifically need the older R1 family.
このクラスター規模における実測トークン／秒数値はリポジトリに公開されていません。そのためここに記載されているスループット値はあくまで推定値とみなし、ご自身のノードでベンチマークを行ってください。DGX Sparkモデル互換性 および Kimi K3のハードウェア詳細解説 にてクラスターの仕様計算方法を確認できます。

​
大容量メモリまたは複数GPU搭載サーバー（約256ギガバイト以上）

This is the tier where the truest K3 alternatives live, because it is where the rest of the Kimi family runs. On an 8×80 GB datacenter box, serve Kimi K2.6 or K2.7-Code with vLLM at --tensor-parallel-size 8 for interactive speed. On a 256 GB+ RAM workstation with GPU offload, a community GGUF runs a low-bit quant slowly — single-digit tokens per second, not interactive.
  • コーディング／エージェント用途： Kimi K2.7-CodeはMoonshot社がコーディング専用に開発した1テラパラメータ規模のMoEモデルだ。
  • 汎用／推論用途： 多様なエージェント作業にはKimi K2.6が最適だ。この層ではMiniMax M3（アクティブユーザー数は428B／23B人）やGLM-5.2もKimi以外の有力な選択肢となる。
デプロイコマンドや量子化オプションの詳細は Kimiモデル に記載されています。また ホームラボ用GPUサーバー ではハードウェア構築方法も紹介しており、どのローカルモデルがどのタスクに適しているか も選定の参考になります。

​
一般的なコンシューマー向けGPU（8～24ギガバイト）

単体の 24 GB版カードは K3 とは別種のツールだ。その点を踏まえて期待値を設定してほしい。このカードは迅速なローカル環境でのコーディング支援や一般的なチャットに最適だが、最先端の推論処理には向いていない。
  • コーディング／エージェント機能: Qwen3-Coder-30B-A3Bは Q4_K_M（容量は19ギガバイト）において、24ギガバイトのグラフィックカードでも問題なく動作します。
  • 汎用／推論用途： gpt-oss-20bのネイティブMXFP4版（14ギガバイト）も問題なく動作し、低・中・高の推論負荷設定も可能だ。
ご使用のグラフィックカードに適したモデルを確認するため、モデル適合性計算機を使って他のモデルも比較してみましょう。また、完全なセットアップ内容については RTXワークステーションのページもご覧ください。

​
選んだモデルをTokiosと接続する

選択したモデルがOllama、llama.cpp、vLLM、SGLangといったローカルランタイム上でOpenAI互換の/v1インターフェースを提供するようになれば、Tokiosコネクターが自動的に接続しhttps://api.tokios.comに認証済みエンドポイントを生成する。この際インバウンドポートやVPNは一切不要だ。各モデル紹介ページに詳細な接続手順が記載されているが、要点は以下の通りだ：
1

コネクターをペアリングする

Sign in at tokios.com/console, open Setup, click Start pairing, and run the installer on the machine serving your model with the one-time TKS-XXXX-XXXX claim code.
2

デプロイを登録する

コネクターの設定先としてランタイムの/v1ベースURLを指定し、公開用のデプロイ名でアップストリームモデルIDを登録します。詳細はモデル登録方法をご覧ください。
3

APIキーを作成する

In the Keys tab, click Create key and copy the sk-tok-… key now — it’s shown only once.

​
よくある質問

使用するハードウェア次第です。Kimiを使いたい場合は、マルチGPUサーバー上でKimi K2.6（汎用向け）またはKimi K2.7-Code（コーディング向け）を利用できます。単体のDGX Sparkでは、品質重視ならGLM-4.5-Air、速度重視ならQwen3.5-35B-A3Bが最適です。Strix Halo環境では、コーディング向けにQwen3-Coder-30B、汎用用途にはGLM-4.5-Airがおすすめです。
Qwen3.5-35B-A3B at NVFP4 — 47–50 tok/s on 1 Spark (the newer Qwen3.6-35B-A3B reaches up to ~120 tok/s with the Atlas engine) — or the coder-tuned Qwen3-Coder-30B. For a large coding MoE you need a 4-Spark cluster (Qwen3-Coder-480B). See DGX Spark model compatibility.
Not K3 itself — its floor is ~1.4 TB. But 128 GB (1 DGX Spark or a Strix Halo box) comfortably runs 100B-class MoE models like GLM-4.5-Air that deliver strong agentic and reasoning quality. That is the realistic frontier-adjacent tier for a single 128 GB machine.
はい Kimi K2.6 および Kimi K2.7-Code はオープンウェイトの 1T MoEモデルで、ネイティブなINT4形式（約595ギガバイト）で提供されています。そのためマルチGPUサーバー（インタラクティブ利用向け）や大容量メモリを備えたワークステーションでもオフロード機能を使えば実行可能ですが、処理速度は秒間数桁のトークン程度に留まります。ただし K3 のみは自前のハードウェアでは実行不可です。詳細は Kimiモデル一覧 をご覧ください。
もちろん待つことも可能です。Kimi K3のローカル実行方法 では公開情報を随時更新しています。しかしウェイトが公開された後でも、K3の必要容量が約1.4テラバイトに達するため、一般ユーザーやプロシューマー向けの機器では到底運用できません。したがって本ページに掲載されているモデルが現実的なローカル利用の選択肢となります。待つことで利用可能性は変わっても、ハードウェア要件そのものは変わらないのです。

Kimi K3をローカルで実行する方法

現時点で自前の機器でK3を動かせない理由と利用可能性の現状

Kimiモデル一覧

ダウンロード可能なKimiモデルの中で最も近い選択肢となるK2.6およびK2.7-Codeの自己ホスティング方法

DGX Sparkにおけるモデル互換性

各用途に適したモデルや推奨される量子化形式、対応表の詳細

ご自身のGPUに適したモデルサイズはどれですか？

導入を決定する前に、ご使用のハードウェア仕様に合致するか各モデルを確認してみましょう。