Skip to main content
Kimi K3 is the model you came for, but it does not fit on hardware you own. Its 2.8T parameters need about 1.4 TB at the native 4-bit floor — even 8 DGX Sparks (1 TB pooled) fall 376 GB short, and Moonshot targets K3 at a supernode with 64 or more accelerators. See Run Kimi K3 locally for the availability picture and the DGX Spark memory math for the full calculation. So the useful question is not “how do I run K3” — it’s “what is the closest model that actually runs on my machine, today?” This page answers that by hardware tier.
你已经在运行下方列出的任意模型了吗？可前往在Tokios平台完成注册，之后就能通过任何兼容OpenAI或Anthropic协议的客户端调用该模型，将其设为https://api.tokios.com默认模型——具体操作说明可查看页面底部的通过Tokios连接所选模型指南。

​
基于硬件条件的简要结论

上述所有模型目前均可下载并部署。表格排序依据为显存容量而非性能水平——请先选定硬件配置，再查阅对应层级说明。需特别注意的是，在仅具备内存卸载功能的工作站上，Kimi K2.6 与 K2.7-Code 虽能在多 GPU 服务器上实现流畅交互，但生成速率仅为每秒个位数令牌；此类配置适合批量处理任务，却难以满足编程代理的需求。

已确定所需层级？接下来即可进行连接器部署。

只需花费约 5 分钟即可完成 Tokios 连接器配对并注册部署名称，随后便可从任意位置调用您的模型。

​
最接近 K3 的替代方案当属 Kimi K2.6 与 K2.7-Code。

If you want K3 specifically because it is Kimi, the honest substitute is the rest of the Kimi family. Kimi K2.6 (general flagship) and Kimi K2.7-Code (coding-specialized, the default in Moonshot’s Kimi Code CLI) are 1T-parameter open-weight MoEs — one full hardware tier below K3. They ship at native INT4 (~595 GB on disk), so they need a multi-GPU server or a big-RAM workstation, not a desktop, but they are downloadable now. 此方案堪称页面上最理想的替代方案，因为它并非单纯的替代模型，而是同属 Kimi 系列的模型，同样具备智能体工具调用与多模态输入能力，且参数量级处于普通硬件可承载的范围。关于 vLLM/SGLang 部署路径及量化选项的详情，请参阅 Kimi 模型。
Kimi 在 Ollama 平台上提供的 kimi-* 版本均为 :cloud 专属版本，它们运行于 Ollama 的云端基础设施而非本地环境，因此连接器无法访问任何本地模型资源。若希望在自有硬件上运行 Kimi 模型，则需自行通过 vLLM 或 SGLang 部署相关权重文件。

​
Strix Halo（统一显存为 128 GB）

搭载 AMD Ryzen AI Max+ 处理器的 395 设备，在 BIOS 与驱动配置完成后，可为 GPU 提供约 96 GB 的显存。参数量级处于 35B 至 122B 区间的 MoE 模型最为适合该硬件，其运行速度可比同等参数量级的密集模型快 3 至 14 倍。
  • 编程与智能体场景：Qwen3-Coder-30B 在 Q4_K_M 配置下的显存占用约为 19 GB，是 Cline、Aider 与 OpenCode 等工具的首选模型，其生成速度约为 10 至 15 令牌/秒。
  • General / reasoning: GLM-4.5-Air (106B MoE, ~60 GB) is the quality pick; Qwen3.5-122B-A10B (~70 GB) is the maximum-capability option. Both land around 10–15 tok/s at Q4_K_M.
完整的适配表、量化格式说明以及 Vulkan 与 ROCm 的对比信息，可查阅 Strix Halo 模型兼容性说明 与 Strix Halo 模型部署指南。

​
1 DGX Spark（统一显存为 128 GB）

A single Spark has ~115–120 GB usable after system overhead. It runs dense models up to ~70B at Q4 and MoE models up to ~120B total at NVFP4 — NVFP4 is the recommended default on the SM121 GPU.
  • Coding / agents: Qwen3.5-35B-A3B at NVFP4 (~18 GB) sustains 47–50 tok/s; the newer Qwen3.6-35B-A3B reaches up to ~120 tok/s with the Atlas engine. Qwen3-Coder-30B is the coder-tuned alternative.
  • 通用用途/推理场景： 据多方反馈，GLM-4.5-Air（由106B个模块组成，体积约53 GB）是质量表现最出色的选择；而 Qwen3.5-122B-A10B（体积约61 GB）则是目前可部署的体积最大的混合专家模型，其生成速度约为30 令牌/秒。
完整的模型列表可查阅 DGX Spark 模型兼容性说明，启动命令则参见 DGX Spark 上的 vLLM 使用指南。

​
2 台 DGX Spark 设备（合计内存为 256 GB）

A second Spark does not unlock a “bigger Kimi.” It does unlock DeepSeek-V4-Flash-0731: 2 nodes provide 256 GB of aggregate unified memory for its roughly 162–167 GB weight floor. The route is community-tested rather than vendor-verified for 0731, so start at 32K context and revalidate model load, tool calls, and sustained generation. A 405B dense model at FP8 needs roughly 405 GB for weights alone and does not fit in 2 Sparks. If your goal is a large coding model rather than more concurrency, skip to 4 Sparks — Qwen3-Coder-480B needs a ~250 GB+ memory floor and only gets real KV-cache headroom at 512 GB. See One vs two DGX Sparks for the decision framework and worked throughput numbers.

​
4 台 DGX Spark 设备（合计内存为 512 GB）

4 nodes is NVIDIA’s documented maximum Spark cluster, positioned for models up to about 700B parameters. This is the tier that makes the K3 verdict concrete: even doubling past 4 Sparks to 8 still falls 376 GB short of K3 — so 4 Sparks is where you run the largest models that do fit.
  • 编程/智能体应用： Qwen3-Coder-480B 属于大型模块化编程模型，其所需内存空间在 250 GB 以上。在内存更充裕的环境下，该模型便可获得此前在 256 GB 配置下所欠缺的 KV 缓存空间。
  • General / reasoning: Start with DeepSeek-V4-Flash-0731, the current official release with tool calling and 1M context. DeepSeek-R1 671B at Q4_K_M (~404 GB) also fits when you specifically need the older R1 family.
目前该代码库尚未公布在此集群规模下的具体令牌生成速度，因此所列性能数据仅为估算值，实际数值还需自行测试。关于集群配置与性能计算方式，可查阅 DGX Spark 模型兼容性说明 以及 Kimi K3 硬件深度解析。

​
需要配备大容量内存或多 GPU 的服务器（内存需求为 256 GB 以上）

这一层级才是真正能与 K3相媲美的选项所在，因为其余的 Kimi 系列模型也都在此层级运行。在配备 8×80 GB 内存的数据中心服务器上，可借助 vLLM 部署 Kimi K2.6 或 K2.7-Code，实现每秒 --tensor-parallel-size 8 个令牌的响应速度。而在内存容量超过 256 GB 且支持 GPU 卸载的工作站上，虽然能运行社区版 GGUF 模型，但仅能以极慢的速度生成结果，每秒仅能产出个位数的令牌，根本达不到实时交互的要求。
  • 编程与智能体任务：Kimi K2.7-Code 是 Moonshot 专为编程场景打造的模型，属于拥有 1T 参数的混合专家架构模型。
  • 通用任务与推理：Kimi K2.6 可胜任各类智能体相关任务；若需非 Kimi 系列的优质替代方案，MiniMax M3（当前活跃参数规模分别为 428B 与 23B）以及 GLM-5.2 都是该层级下的出色选择。
各类部署指令与量化方案详情可查阅 Kimi 模型页面；家庭实验室 GPU 服务器搭建指南 则介绍了硬件组装方法，此外 如何根据任务挑选本地模型？ 也能协助你做出决策。

​
单张消费级 GPU（内存容量在 8 至 24 GB 之间）

仅配备 24 GB 显存的单张显卡与 K3 适配的硬件属于完全不同的层级，请据此设定合理预期。这类显卡非常适合用于本地快速编程辅助与常规对话，却难以胜任前沿推理任务。
  • 编程与智能体任务：Qwen3-Coder-30B-A3B 模型属于 Q4_K_M 系列，参数规模达 19 GB，可完美适配 24 GB 显存的显卡。
  • 通用任务与推理：gpt-oss-20b 模型采用原生 MXFP4 格式，参数规模为 14 GB，同样能在该类显卡上流畅运行，且可灵活调节低、中、高三种推理强度。
你可通过 模型适配性计算器 核验其他任意模型与自身显卡的兼容性，也可查阅 RTX 工作站配置指南 获取完整搭建方案。

​
将所选模型与 Tokios 连接器进行对接

一旦所选模型成功在本地运行环境（Ollama、llama.cpp、vLLM 或 SGLang 均可，且需支持与 OpenAI 兼容的 /v1 接口）中启动，Tokios 连接器便会自动建立连接，最终为你生成一个位于 https://api.tokios.com 的认证后端点，全程无需开放入站端口或搭建 VPN。上文提及的各模型页面均配有完整的对接说明，简要流程如下：
1

完成连接器配对操作

请登录 tokios.com/console，打开 Setup，点击 Start pairing，随后在运行模型的机器上输入一次性使用的 TKS-XXXX-XXXX 令牌以运行安装程序。
2

执行部署操作

将连接器指向您运行环境的 /v1 基础网址，随后以公开的部署名称注册上游模型 ID——详情请参阅 注册模型。
3

生成 API 密钥

进入 Keys 标签页后点击 Create key，即刻复制出现的 sk-tok-… 令牌——该令牌仅显示一次。

​
常见问题

这取决于您的硬件配置。若您确实需要 Kimi 系列模型，可在多 GPU 服务器上运行 Kimi K2.6（通用版）或 Kimi K2.7-Code（编程专用版），二者同属一个系列但后者性能稍低。在单台 DGX Spark 设备上，追求综合表现的话推荐 GLM-4.5-Air，若侧重速度则选 Qwen3.5-35B-A3B。至于 Strix Halo 平台，编程任务适合用 Qwen3-Coder-30B，普通用途则推荐 GLM-4.5-Air。
Qwen3.5-35B-A3B at NVFP4 — 47–50 tok/s on 1 Spark (the newer Qwen3.6-35B-A3B reaches up to ~120 tok/s with the Atlas engine) — or the coder-tuned Qwen3-Coder-30B. For a large coding MoE you need a 4-Spark cluster (Qwen3-Coder-480B). See DGX Spark model compatibility.
Not K3 itself — its floor is ~1.4 TB. But 128 GB (1 DGX Spark or a Strix Halo box) comfortably runs 100B-class MoE models like GLM-4.5-Air that deliver strong agentic and reasoning quality. That is the realistic frontier-adjacent tier for a single 128 GB machine.
当然可以 — Kimi K2.6 与 Kimi K2.7-Code 均为开源权重且基于 1T 参数的混合专家架构模型，它们以原生 INT4 格式发布（体积约为 595 GB），因此可在多 GPU 服务器上流畅运行；若使用大内存工作站配合显存卸载技术也能运行，只是速度较慢，仅能生成个位数令牌/秒。唯有 K3 模型目前无法在个人硬件上运行。详情请参阅 Kimi 模型列表。
当然可以 — 在本地运行 Kimi K3 页面会实时更新发布动态。不过即便权重正式发布，K3 模型所需的约 1.4 TB 存储空间也远超普通个人用户或专业创作者的硬件配置，因此本页面所列模型仍是本地部署的可行之选。等待仅能改变获取途径，无法改变硬件层面的限制条件。

在本地运行 Kimi K3 的方法

当前各类硬件的适配情况以及为何个人设备尚无法运行 K3 的原因解析。

Kimi 模型总览

自行部署 K2.6 与 K2.7-Code 的方法 — 目前可下载的最接近原版的 Kimi 模型。

DGX Spark 平台下的模型兼容性说明

各类硬件配置下的适配表、量化格式选择指南及对应场景推荐模型。

何种规模的模型适合您的显卡配置呢？

在最终决定前，可先对照具体硬件参数测试任意模型的实际运行效果。