已确认与待定事项
这种区分至关重要。虽然 K3 可被视作一款开源模型，但未来发布权重文件的承诺并不等同于当下即可下载使用的权重。
相较于 Kimi K2 的变化
K3 的参数量从 K2 的 1万亿个提升至 2.8万亿个，上下文长度也从 256K个令牌扩展至 1M个令牌，同时在架构层面也作出了四项关键改进。Kimi Delta Attention 可高效处理超长序列
Kimi Delta Attention（简称 KDA）属于 Kimi Linear 系列中的线性注意力机制。采用此类混合线性注意力架构可避免在各层计算中均执行复杂度极高的全二次注意力运算。这一特性在长文本预处理阶段尤为关键，因为此时服务器需先读取篇幅极长的提示文本，随后才会生成首个令牌。 KDA 并非单纯用于提升运行速度的功能选项，它还需要配套的专用计算内核与缓存逻辑。Moonshot 方面指出，常规的前缀缓存机制难以直接适配 KDA 机制，因此他们会在发布权重文件时同步提供对应的 vLLM 预处理缓存模块。由此可见，即便某个运行环境能够加载常规的 Transformer 权重文件，也未必能直接兼容 K3。注意力残差机制可实现跨深度的信息路由
常规的预归一化残差连接方式是以固定权重反复叠加各层输出。而注意力残差机制则允许某一层对先前层的表征进行筛选，从而决定哪些信息值得复用。相关研究详见 注意力残差机制论文，文中介绍了一种优化方案，能在维持大部分性能增益的同时降低内存占用与通信开销。 这种路由方式属于深度层面的操作，与令牌层面的注意力机制相互独立。KDA负责确定各令牌位置间的交互关系，而AttnRes则负责判定哪些早期层的表征仍具备实用价值。Stable LatentMoE机制可显著提升稀疏化程度
K3采用了 Stable LatentMoE 技术，可路由 16 个专家（共 896 个）。稀疏激活机制有效减少了每个令牌所需的计算量，相较于密集型的 2.8T 模型而言具有显著优势。不过该机制并不会将存储的模型检查点缩减至仅包含活跃专家的规模：所有专家模块仍需完整保留在集群中。 在如此庞大的规模下，专家模块的分配与负载均衡直接决定了整体处理效率。Moonshot团队还提出了分位数均衡策略以及一种完全均衡的专家并行训练方案，不过具体实现细节尚待技术文档进一步说明。量化感知训练在模型部署前便已启动
Moonshot团队称，从监督式微调阶段起便实施了量化感知训练，训练过程中使用了MXFP4格式的权重与MXFP8格式的激活值。这种训练方式并非在模型发布后才由社区自行实施的量化处理，而是模型训练阶段就为后续低精度部署做好了准备。 MXFP4格式以 4 比特精度存储数值，同时附带共享的块尺度信息。因此下文提到的 4 比特计算值仅为理论下限，并非对实际检查点精度的精确预测。DGX Spark的内存计算方式
NVIDIA官方说明指出，每台DGX Spark设备均配备 128 GB容量的LPDDR5x统一内存。该内存资源由GPU与CPU共同使用，并非单独为权重预留 128 GB空间后再另配系统随机存取存储器。 当每个参数仅使用四位存储时：- MXFP4数据块相关的扩展配置与张量元数据
- 运行时分配的内存空间以及通信缓冲区域
- 激活值存储区与临时工作空间
- 所选上下文处理所需的KV缓存或循环状态信息
- 处理多模态请求时所需的视觉编码器状态数据
- DGX操作系统及各类服务进程占用的内存资源
各计算单元的显存占用统计表
为何仅计算总内存容量并不够
即便假设存在 16 节点规模的 Spark 集群，仍会面临三个实际难题。目前受支持的拓扑结构最多仅能容纳四个节点
NVIDIA 当前的多节点部署指南仅支持最多四个 DGX Spark 节点。该指南指出，配备 512 GB 内存的集群可运行参数规模约为 700B 的模型。而 K3 模型的参数规模则是上述数值的四倍。NVIDIA 仅提供了双节点、三节点环形网络以及四节点交换式网络的部署示例，并未给出任何涉及 14 或 16 个节点的 K3 部署方案。大语言模型推理过程需要持续进行数据同步
每个 Spark 节点均配备 273 GB/s 的本地内存带宽，并配有 200 GbE ConnectX-7 网络连接器。一条 200 千兆比特的链路在计入协议开销后，其实际传输速率最高仅为 25 GB/s，这一数值显著低于节点的本地内存带宽。 分布式大语言模型推理需逐层执行计算并反复交换中间结果。NVIDIA 特别指出，此类细粒度通信机制会导致节点数量增加后整体扩展效率显著下降。虽然增加节点数量可提升整体处理能力，但每个生成的令牌都需等待更庞大的通信网络完成数据传输。K3 方案旨在构建超级节点架构
Moonshot 建议采用配备 64 个以上加速器的超级节点架构，如此方可充分发挥多节点并行计算能力，构建出具备高带宽特性的大规模通信网络。该建议的核心考量在于整体吞吐量与拓扑结构优化，而非单纯确保文件存储需求得以满足。 Spark 设备仍适用于客户端开发、提示词优化、工具架构设计以及小型本地模型的训练工作。不过它并非 K3 推理任务的首选部署平台。如何解读 Moonshot 发布的基准测试表格
Moonshot 公布的测试结果显示，该模型在代码编写、智能体任务执行、逻辑推理以及视觉处理等多个领域均展现出卓越性能。以下列举了部分具有代表性的 K3（max）测试得分：
这些均为厂商提供的测试结果，并非独立验证所得。Moonshot自身的注释也指出，不同模型并非始终在相同的代理测试环境中接受评估：K3可能使用Kimi Code，其他模型则可能采用Claude Code，而GPT系列模型则使用Codex。测试环境的质量、工具使用规则、上下文压缩机制以及容错行为均可能对代理基准测试的结果产生显著影响。
实际解读为：K3具备足够的竞争力，值得深入测试；不过当前发布的资料尚无法证明它在您的运行环境中也能取得同等效果。建议耐心等待相关模型权重、提示词配置、测试环境详情以及第三方评估结果的发布。
该 API 的行为无法直接替代 K2
K3现已作为kimi-k3形式在Moonshot提供的兼容OpenAI协议的聊天补全API中上线，但它并非原有K2配置的简单替代方案：推理功能始终处于开启状态，reasoning_effort参数取代了thinking参数，流传输机制将reasoning_content与content分离处理，多轮对话回放时也必须完整保留助手的回复内容。您可查阅Kimi K3模型说明页以获取完整的协议细节，便于后续API测试或自托管运行环境的验证。
当前已知的发布限制
Moonshot明确指出了三项主要限制：- 历史记录敏感性。 K3要求完整保留推理历史记录。若对话回放过程出错或中途更换模型，则可能导致输出结果不稳定。
- 过度主动性。 面对内容模糊且耗时较长的任务时，该模型可能做出超出预期的决策。因此需设定明确的操作权限、终止条件以及编辑范围。
- 用户体验仍有差距。 尽管在部分基准测试中表现优异，但Moonshot指出K3的整体用户体验仍落后于市面上最优秀的专有模型。
AGENTS.md中设定清晰的边界规则，对具有破坏性或涉及外部交互的操作要求用户确认，并在完全信任其自主运行能力前先测试会话压缩机制。
在模型权重正式发布前应采取的应对措施
请耐心等待 Moonshot 官方发布的相关构件，切勿使用名称相似的第三方社区资源。随后依据真实的检查点清单重新评估后再做采购决策。在 Kimi K3 模型页面 中详细列出了部署准备流程：验证官方构件、在兼容的集群上运行服务，以及通过 Tokios 完成部署配置。在此期间，若需寻找适配您硬件条件的替代模型，可参考 可替代 Kimi K3 使用的模型推荐。权威信息来源
- Kimi K3：开放的前沿智能技术 — 内容涵盖发布信息、架构设计、基准测试结果、可用性状况以及相关限制条件
- Kimi K3 API 指南 — 介绍了当前上游模型 ID、请求行为、视觉功能、工具支持以及上下文长度限制
- 《Attention Residuals》论文 — 深度路由设计及规模扩展实验
- DGX Spark 硬件概览 — 128 GB 统一内存、273 GB/s 带宽及 ConnectX-7
- NVIDIA 的四级扩展指导说明 — 涵盖支持的节点数量、700B 定位方式以及通信限制
Kimi K3
待官方权重发布后，请密切留意 K3 的可用性、硬件配置要求以及通过 Tokios 进行部署的具体步骤。
Kimi 系列模型
您可对比 K3 与目前可下载并自行部署的 K2.6 及 K2.7-Code 模型。
K3 的替代方案
专为您的硬件量身打造的最佳编程与通用模型，并附有详细的部署指南。
DGX Spark
运行适配 Spark 的各类模型，并为其配置专属的 Tokios 端点。
模型服务与扩展能力
张量并行、流水线并行以及专家并行——这些正是构建超级节点所需的技术基础。
常见问题
Kimi K3 模型需要多少显存容量呢？
Kimi K3 模型需要多少显存容量呢？
约需 1.4 TB（原生 MXFP4 精度下，每参数 4 比特，2.8T 个参数），这尚未计入块缩放配置、运行时缓冲区、激活值及 KV 缓存。实际部署中，服务集群需要显著更多的内存——Moonshot 建议在超级节点配置中配备 64 个或更多加速器。
部署 Kimi K3 模型需要多少个 DGX Spark 节点呢？
部署 Kimi K3 模型需要多少个 DGX Spark 节点呢？
理论上，仅需 11 个 Spark 节点即可满足模型权重存储需求（即 1.4 TB 容量，换算为 11 乘以 128 GB 后等于 1,408 GB）。但如此配置无法容纳操作系统、CUDA 运行开销、KV 缓存以及推理状态数据。实际部署时建议配置 14 至 16 个节点。不过目前 NVIDIA 仅支持最多 4 个节点的 Spark 集群配置（总显存容量仅为 512 GB），且目前尚无经官方认证的 K3 模型在 Spark 平台上的部署方案。
既然 K3 这类混合专家模型仅激活 16 个专家模块，为何其显存需求依然较高呢？
既然 K3 这类混合专家模型仅激活 16 个专家模块，为何其显存需求依然较高呢？
混合专家稀疏激活机制能降低每个令牌所需的计算量，但并不会减少所存储检查点的大小。所有 896 个专家权重都必须在整个服务集群中保持常驻状态。约 50B 个活跃参数决定了推理速度（即每个令牌对应的浮点运算次数），而总计 2.8T 个参数则决定了所需的内存容量。
哪些硬件能够实际运行 Kimi K3 呢？
哪些硬件能够实际运行 Kimi K3 呢？
Moonshot 建议选用配备 64 个或更多加速器的超级节点，这类节点具备高带宽互连能力，可让专家并行计算高效运作。然而消费级 GPU（24 GB 显存）、专业级统一内存设备（128 至 192 GB 容量），乃至由 4 个节点构成的 Spark 集群（总显存量仅 512 GB）均远远达不到 K3 的硬件需求。
Kimi K3 的模型权重何时能够获取呢？
Kimi K3 的模型权重何时能够获取呢？
Moonshot 承诺会在七月 27 日 2026 发布可供下载的模型权重。目前相关许可证、模型说明文档、检查点清单以及自行部署指南尚未公开发布。vLLM 方面也已确认收到了 Moonshot 提供的 KDA 前缀缓存技术贡献，预计该功能会在正式发布当日 0 同步推出。