Skip to main content
Last verified: 2026-07-21
Kimi K3 is Moonshot AI’s frontier model: 2.8 trillion total parameters, ~50 billion active per token through Stable LatentMoE routing (16 of 896 experts), native visual input, and a 1-million-token context window. Moonshot launched K3 on July 17, 2026 for long-horizon coding, knowledge work, and reasoning. The important local-inference detail is timing: K3 is available now through Kimi’s hosted products and API, but Moonshot says the downloadable weights will arrive by July 27, 2026. The model card, checkpoint size, license, runtime flags, and reproducible self-hosting instructions are not public yet.
由于模型权重尚未发布，目前无法在本地部署 Kimi K3。切勿贸然执行网上流传的 vllm serve格式相关命令，也不要使用那些被标记为 K3的第三方文件并误以为其为官方模型。请耐心等待 Moonshot 官方发布的资源链接。

​
目前有哪些可用资源呢？

信息来源：Kimi K3 发布公告以及Kimi K3 API 使用指南。

​
Kimi K3 概览

Moonshot 尚未发布相关技术报告或确切的模型检查点文件。在这些资料正式发布前，任何关于参数详情、存储容量、运行指令或性能指标的说明均仅作参考之用。

​
能否在本地运行 Kimi K3 模型呢？

No — not today. Kimi K3 is available now through Moonshot’s hosted API, but the downloadable weights have not shipped yet (promised by July 27, 2026). Even when the weights arrive, K3’s ~1.4 TB weight floor at 4-bit precision rules out every consumer and prosumer setup. Moonshot’s own recommendation is a supernode with 64 or more accelerators. Eight DGX Sparks pool 1 TB of unified memory and still fall 376 GB short. See the DGX Spark memory math for the full calculation.
不想等待权重文件发布？不妨看看 可替代 Kimi K3 运行的模型推荐——这些模型均针对各类硬件环境优化，无论是 Strix Halo 处理器还是由 4 台 Spark 设备组成的集群都能流畅运行，且同样具备出色的编程与通用任务处理能力。

​
Kimi K3 模型的硬件配置要求

目前没有任何消费者级或专业级设备能够承载 K3。当每个参数占用 4 比特时，拥有 2.8T 参数的模型仅其权重部分就需要约 1.4 TB 的存储空间，这还不包括微缩放元数据、运行时缓冲区、激活值以及上下文状态。从规模来看：八个 DGX Spark 节点合计可提供 1 TB 的统一内存，但即便如此仍比模型权重所需的最低存储量少了至少 376 GB。目前 NVIDIA 仅支持最多四节点构成的 Spark 集群，而 Moonshot 则建议将 K3 部署在配备 64 个及以上加速器的超级节点上。 关于完整的计算过程、集群配置表以及网络限制，请参阅 DGX Spark 内存计算说明。
需要能够立即下载使用的模型吗？您可以对比目前所有 Kimi 系列模型：目前 Kimi K2.6 与 K2.7-Code 均已公开权重，且可在服务器级硬件上运行。

​
为何架构设计对自托管部署至关重要

K3 并非仅仅是规模更大的 K2 检查点文件。对于计划部署该模型的用户而言，以下四点变化尤为关键：
  • Kimi Delta Attention (KDA) —— 这是一种混合线性注意力机制，可显著降低百万级令牌输入时的预处理成本。该机制需要与之匹配的核心运算逻辑与缓存规则：Moonshot 指出常规的前缀缓存方案无法适配 KDA，因此该模型对应的 vLLM 预处理缓存功能已随权重一同发布。仅能加载权重的运行环境无法直接兼容 K3。
  • Attention Residuals (AttnRes) —— 该机制允许各层有选择地从较早层次提取有效特征，而非以固定权重简单叠加各层输出。Moonshot 发布的 AttnRes 相关论文 证实该机制有助于提升深层模型的信息传递稳定性。
  • Stable LatentMoE — 16 of 896 experts route per token. Sparse activation cuts per-token compute, but it does not shrink the stored checkpoint: every expert must stay resident across the serving cluster, which makes fast interconnects a first-order requirement.
  • 原生 MXFP4 — 从有监督微调阶段起便开始实施量化感知训练，旨在生成 MXFP4 类型的权重以及 MXFP8 类型的激活值。此格式正是预期的部署格式，并非由社区生成的量化版本；因此前文提到的 4 位数值仅代表最低要求，并非折中方案。

​
需保留的 K3 API 行为规范

无论您当前正通过 Moonshot 的 API 测试 K3，还是后续计划自行搭建运行环境，以下协议细节均须严格遵守：
  • K3 始终执行推理运算。请使用顶层的 reasoning_effort: "max" 参数；切勿发送 K2.x 版本对应的 thinking 参数。
  • 流式响应机制会将推理过程内容置于reasoning_content中，最终答案则置于content中。
  • 在处理多轮对话或工具循环场景时，务必重新发送完整的助手消息，其中需包含保留的推理过程信息与工具调用字段。仅发送content可能导致后续对话环节出现不稳定状况。
  • max_completion_tokens的默认取值为131,072，该数值最高可设定至1,048,576。
  • 启动接口会对采样参数进行固定化处理。Moonshot建议用户不要自行修改temperature、top_p、n及惩罚类参数，直接省略即可。
  • 公共图片链接不受支持。请发送基础64数据或 ms://<file-id>引用信息。
当前请求格式的详细说明可查阅K3官方API指南。

​
待模型权重下载完成后，即可将K3与Tokios进行连接器配置。

Tokios需部署在本地运行环境之后方可使用。它不会执行模型下载操作，亦无法替代vLLM。待Moonshot与运行环境维护方共同确定K3的适配部署路径后：
1

请先核验官方发布的配套资源包。

确认相关代码库已获Moonshot官方授权。务必查阅模型说明文档、授权协议、检查点清单、兼容硬件列表及并行处理配置建议，切勿仅凭K2信息自行推断。
2

在经认证的集群环境中部署K3服务。

严格遵循vLLM或其他运行环境提供的部署说明。确保本地服务可顺利处理流式请求、妥善保存reasoning_content信息，并能独立通过/v1接口完成多轮工具循环操作。
3

配对 Tokios 连接器

在能够访问服务端点的节点上安装该连接器。在 dashboard 中打开 Setup，选择 Start pairing，随后输入一次性使用的 TKS-XXXX-XXXX 令牌即可完成设置。
4

执行部署注册

将连接器指向集群中兼容 OpenAI 协议的 /v1 基础网址。随后以 kimi-k3-tunnel 这类公开名称注册对应的上游模型 ID。
5

生成 API 密钥

进入 Keys 标签页后点击 Create key。此时请立即复制 sk-tok-… 令牌——该令牌仅显示一次。
6

共享端点前务必进行测试

通过 https://api.tokios.com 测试流传输、长对话、视觉处理、结构化输出以及工具调用功能。请使用专用的 sk-tok-… 令牌，验证内存占用时尽量缩短初始上下文长度。

​
任意位置均可调用

确认路径无误后，客户端只需调用您设定的部署名称而非上游模型 ID即可。

​
启动时的注意事项

  • 当前模型权重、说明文档、许可协议、技术报告、校验清单以及自托管指令尚在筹备阶段。
  • K3的基准测试结果由Moonshot提供。在相关权重文件及评估配置发布前，尚无法进行独立复现。
  • Moonshot提醒用户：若丢失原有推理历史记录，或试图将其他模型生成的会话切换至K3运行，均可能导致输出结果不稳定。
  • K3专为处理复杂且篇幅较长的任务而设计，当指令表述不够明确时它可能会表现得过于主动。建议在系统提示词或AGENTS.md中设定明确的操作边界。
  • 所谓的1M令牌长度限制仅为上限值而非推荐值。上下文长度增加会相应延长预处理耗时，同时提升缓存存储需求及推理成本。

​
常见问题

在原生 MXFP4精度下（每个参数占用4比特），K3所拥有的 2.8万亿个参数仅权重部分就需要约 1.4 TB的存储空间，这还不包括块缩放系数、运行时缓冲区、激活值以及KV缓存。这一容量相当于 11台 DGX Spark 服务器各自提供的 128 GB 存储空间的总和，且仅用于存放原始权重数据。实际上若要构建分布式服务架构，至少需要 14至 16台 Spark 服务器才行，而 NVIDIA 官方文档中提及的 Spark 集群规模上限仅为 4个节点。
实际上难以实现。八台DGX Spark设备仅能提供1 TB统一显存容量，这一数值仍比所需存储量少了376 GB。NVIDIA官方记载的Spark集群最大规模仅为4个节点（总显存量512 GB），而Moonshot规划中的K3模型则需部署在配备64个以上加速器的超级节点上。目前适用于Spark架构的模型清单可查阅DGX Spark模型兼容性说明。
Moonshot says K3 will ship with downloadable weights by July 27, 2026, but the license, model card, and checkpoint files are not published yet. Calling it “open” is accurate only after the weights and license land. Kimi K2.6 and K2.7-Code are open-weight today — see the Kimi model family.
目前可通过 Moonshot 提供的托管式 API，并指定上游模型 ID 为 kimi-k3 来调用该模型。待模型权重正式发布后，您即可在兼容的集群上部署对应检查点（预计 vLLM 配合 KDA 缓存机制即可实现），随后调用其符合 OpenAI 规范的 /v1 端点。借助 Tokios 还能为该本地端点配置受限权限的 API 密钥——详情请参阅上文的 将 K3 连接器与 Tokios 相连。
1,048,576 个令牌（共计 1M 个）。max_completion_tokens 参数默认值为 131,072，该值可设定为与上下文窗口容量相等的最大值。上下文长度增加会导致预处理耗时上升、缓存占用增多且推理成本提高；1M 仅为上限值而非推荐设定值。
K3 is a Mixture-of-Experts model with 4 key innovations: Stable LatentMoE (16 of 896 experts activate per token, ~50B active), Kimi Delta Attention (hybrid linear attention for efficient million-token prefill), Attention Residuals (depth-wise information routing), and native MXFP4 (quantization-aware training from SFT onward). These are not drop-in compatible with standard transformer serving — KDA in particular needs matching kernels and cache semantics.

DGX Spark 平台上的 Kimi K3 模型

关于内存占用计算方式、集群配置要求以及实际部署验证结果的完整说明表

各类 Kimi 系列模型

您可对比 K3 与可下载的 K2.6、K2.7-Code 版本，即刻开启 Kimi 模型的本地化部署工作。

What to run instead of K3

从 Strix Halo 处理器到 4-Spark 集群，这些模型均能在您的硬件环境下发挥最佳编程与通用任务处理能力。

模型部署与规模扩展相关技术指南

在规划超大规模集群之前，请先了解张量并行、流水线并行以及专家并行机制。

快速入门

配对一个连接器并注册当前可用的本地模型。