最近验证：2026-10-14
Kimi 阵容一览
想知道能否本地运行 Kimi K3？权重已经发布（七月27日（2026年）发布），但最低门槛大约是 1.4 TB 内存。本页其余部分介绍你今天就能下载的 Kimi 模型。
如果你只需要 Kimi 的回答而不关心它在哪里运行，Moonshot 的托管 API（platform.kimi.com）是最简便的选择。Tokios 适用于你希望将权重放在自己的硬件上——一套认真配置的多 GPU 或大内存设备——并在其前面架设一个经过认证的私有端点的情况。
你能本地运行 Kimi 吗？
坦率地说：在普通桌面上不行。Kimi K2.6 发布时就是原生 INT4——这已经是最小的格式了——但仍然约占 595 GB，分布在 64 个检查点分片中。没有任何消费级 GPU，也没有任何单块数据中心 GPU，能装得下它。现实可行的方案：
社区重量化版本以质量换取体积，但不改变结论：
bartowski/moonshotai_Kimi-K2.6-GGUF 从极端的 IQ1_S（约 207 GB）到 Q4_0（约 584 GB）不等，Unsloth 的动态 2-bit 构建（约 340–350 GB）仍然需要 350 GB+ 的 VRAM/内存总预算。经验法则是，规划内存 + VRAM 大致等于量化文件大小。对大多数人来说，Kimi 是一个云端/API 模型——这也是完全可以的答案。只有当你有足够的硬件时才本地运行。
“Kimi on Ollama”是云端，不是本地
Kimi K2.x 模型确实在 Ollama 库中——kimi-k2.6、kimi-k2.7-code、kimi-k2.5——但它们都只提供 :cloud 标签。Ollama 的云端模型不会下载；请求会被代理到 Ollama 的托管基础设施，前提是你保持登录。所以 ollama run kimi-k2.6:cloud 很方便，但它不是自托管——权重不会接触你的机器，也没有本地端点可供连接器指向。
如果你的目标是在自己控制的硬件上运行 Kimi，请跳过 :cloud 标签，使用下面的服务器运行时自托管权重。Tokios 代理的是你的部署，而不是别人的云端。
在你自己的硬件上运行
Moonshot 的部署文档面向生产级运行时——vLLM、SGLang 和 KTransformers——而非单 GPU 方案。在多 GPU 服务器上，部署原生 INT4 权重并暴露一个 OpenAI 兼容端点：- vLLM（官方路径，多 GPU 服务器）
- 社区 GGUF（大内存设备）
http://127.0.0.1:8000/v1 上提供 OpenAI 兼容 API——这就是 Tokios 连接器指向的地址。部署前请查阅模型卡片了解当前推荐的标志和工具调用解析器。变体与规格
以下所有数据来自 Hugging Face 上的 Moonshot 模型卡片和 Moonshot 的平台文档。在确定标准化方案之前，请对照模型卡片核实——Moonshot 大约每月发布一次新的 Kimi 版本。
来源：
moonshotai/Kimi-K2.6、moonshotai/Kimi-K2.7-Code、platform.kimi.com/docs/models、ollama.com/library/kimi-k2.6。
Kimi 的 Modified MIT 许可证对大多数用途都较为宽松，但对超大规模商业部署增加了署名条款（在月活跃用户数/营收超过阈值时，需要在产品 UI 中展示 “Kimi K2.6”）。在基于它构建商业产品之前，请阅读模型卡片上的
LICENSE 文件。能力
- 代理式工具调用 — K2.x 针对工具使用和多步代理循环进行了训练。使用 vLLM 或 SGLang 部署时，启用模型卡片推荐的工具调用解析器，以便
tools请求通过你的端点正常工作。 - 原生多模态输入 — K2.x 全系列支持文本、图片和视频理解。
- 推理 — K2.x 通过 Moonshot 的
thinkingAPI 参数暴露思考过程。Kimi K3 将其替换为顶层的reasoning_effort——不要混用这两种约定；详见 Kimi K3 页面 了解 K3 的协议详情。 - 256K 上下文 — 足以支撑仓库级编码会话，但在规划长上下文部署时，需要在权重之外额外预留 KV 缓存内存。
你应该运行哪款 Kimi？
- K2.6 是 Moonshot 的通用可下载旗舰——适用于写作、分析、对话和混合代理工作。
- K2.7-Code 专注于编码和代理任务——见下方专门章节。
- K2.5 是上一代旗舰，如果你已经标准化使用它，仍然可用。
- K3 是前沿旗舰（权重于 七月27日（2026年）发布），但它将硬件需求整整提升了一个层级——见 Kimi K3 了解硬件需求，或替代方案（如果它不适合你的硬件）。
Kimi K2.7-Code：面向编码代理
Kimi K2.7-Code（六月，2026）是 K2.6 的编码专用兄弟版本：相同的 1T-MoE 架构、尺寸和硬件需求，但针对代理式工程进行了调优。它将推理 token 消耗降低约 30%（对比 K2.6），并且是 Moonshot 的 Kimi Code CLI 中的默认模型。如果编码是你的任务，那就是你应该部署的 Kimi。 它的部署方案与 K2.6 完全一致——相同的 INT4 权重大小，相同的 vLLM/SGLang 服务路径（将模型 id 替换为moonshotai/Kimi-K2.7-Code），以及在 Ollama 上同样的仅 :cloud 状况。一旦它运行在你的 Tokios 端点后面，就能与编码代理自然配合：见 Use Claude Code 和 Use OpenAI Codex 了解客户端设置。
通过 Tokios 连接
一旦 Kimi 在你自己的服务器上运行——vLLM 或 SGLang 暴露 OpenAI 兼容的/v1——配对 Tokios 连接器，这样你就可以从 Claude Code、Cline 或任何其他兼容客户端通过 https://api.tokios.com 访问它，而不仅仅是在局域网内部。
1
配对 Tokios 连接器
在 tokios.com/console 登录，打开 Setup 选项卡，点击 Start pairing 获取一次性配对码（然后 approve 该设备（在 Setup 或 Connectors 选项卡上）。
TKS-XXXX-XXXX）。在托管 Kimi 的服务器上安装并运行连接器：Windows
macOS
Linux
2
将连接器指向你运行时的 /v1 API
vLLM 和 SGLang 暴露 OpenAI 兼容接口——通常是
http://127.0.0.1:8000/v1。在 tokios-connector.json 中将其设置为上游——见 Connector config。3
注册部署
在 Models 选项卡中，注册模型并选择一个公共部署名称，例如
kimi-tunnel。客户端在 model 字段中发送的是这个名称——而不是上游模型 id。4
创建 API 密钥
在 Keys 选项卡中，点击 Create key。立即复制
sk-tok-… 密钥——它只显示一次。从任何地方调用
注意事项
- Kimi K2.x 是一个 1T 参数 MoE——尽管每个 token 只有约 32B 活跃，所有万亿参数都必须装入内存。这是一个多 GPU 服务器或大内存工作站模型，不是单 GPU 模型。
- Ollama 的
kimi-*标签只有:cloud一种 ——它们运行在 Ollama 的基础设施上，而不是你的。没有本地端点可供连接器访问；如果你想在自有硬件上运行 Kimi，请使用 vLLM/SGLang 自托管。 - Kimi 以原生 INT4 格式发布；不要将其转换为 BF16 来运行。
- Kimi K3 权重已可用（七月27日（2026年）发布）——Kimi K3 页面介绍了硬件需求以及自托管前需要验证的事项。
- Moonshot 频繁发布 Kimi 版本并弃用旧预览版——在标准化之前，请在 platform.kimi.com/docs/models 确认当前模型 id。
Kimi K3
2.8T 前沿旗舰：当前可用情况及硬件现实。
K3 的替代方案
装不下 K3？为你的具体硬件推荐的最佳模型，附带部署指南。
多大的模型适合你的 GPU？
1T MoE 为什么需要服务器而不是桌面的尺寸计算依据。
家庭实验室 GPU 服务器
搭建 Kimi 这类模型真正需要的多 GPU 设备。
哪种任务选哪种本地模型？
在你已有硬件上运行的更轻量模型。