Skip to main content
Kimi是Moonshot AI推出的前沿规模模型系列。目前共有三款模型：Kimi K3作为最新款，拥有2.8万亿参数，属于旗舰级模型，目前仅提供云端部署服务，后续才会开放权重下载。另外两款可下载使用的模型为Kimi K2.6与Kimi K2.7-Code，二者均具备1万亿参数，属于开源权重模型，只要硬件条件达标即可在本地部署。本页面将客观说明哪些Kimi模型适合个人用户部署，以及如何借助Tokios从任意地点访问这些模型。

​
Kimi系列模型概览

Wondering whether you can run Kimi K3 locally? Short answer: not yet — the weights are not out, and when they arrive the floor is roughly 1.4 TB of memory. The rest of this page covers the Kimi models you can download today.
如果你只希望获取 Kimi 生成的回复而并不在意运行环境，Moonshot 提供的托管式 API（platform.kimi.com）是最简便的选择。而 Tokios 则适用于那些希望将模型权重部署在自身硬件上的用户——即拥有多块显卡或大容量内存的高端设备，同时还需要一个经过身份验证的私有端点。

​
能否在本地运行 Kimi？

Honestly: not on a normal desktop. Kimi K2.6 ships already at native INT4 — that’s the small format — and it’s still about 595 GB across 64 checkpoint shards. There is no consumer GPU, and no single datacenter GPU, that holds it. The realistic options: Community re-quantizations trade quality for size but don’t change the conclusion: bartowski/moonshotai_Kimi-K2.6-GGUF ranges from an extreme IQ1_S at ~207 GB up to Q4_0 at ~584 GB, and Unsloth’s dynamic 2-bit build (~340–350 GB) still wants a 350 GB+ combined VRAM/RAM budget. As a rule of thumb, plan for RAM + VRAM roughly equal to the quant size. For most people, Kimi is a cloud/API model — and that’s a fine answer. Run it locally only if you have the rig for it.
您已经在本地部署了 Kimi 吗？可前往 在 Tokios 中注册该模型，以便从任意客户端调用。若不确定自身硬件能否承载该模型，可查阅可替代 Kimi K3 的其他模型推荐。

​
“Kimi on Ollama”属于云端服务，并非本地部署

Kimi K2.x models are in the Ollama library — kimi-k2.6, kimi-k2.7-code, kimi-k2.5 — but every one of them exposes only a :cloud tag. Ollama’s cloud models don’t download; requests are proxied to Ollama’s hosted infrastructure while you stay signed in. So ollama run kimi-k2.6:cloud is convenient, but it is not self-hosting — the weights never touch your machine, and there’s nothing local for a connector to point at. If your goal is Kimi on hardware you control, skip the :cloud tag and self-host the weights with a server runtime, below. Tokios then fronts your deployment, not someone else’s cloud.

​
直接在本地硬件上运行即可

Moonshot 的部署文档主要针对生产级运行环境，例如 vLLM、SGLang 以及 KTransformers，而非仅适用于单 GPU 的配置。在多 GPU 服务器上，可部署原生 INT4 格式的模型权重并开放一个兼容 OpenAI 协议的端点。
该方案支持服务器内所有 GPU 的张量并行处理。vLLM 会在 http://127.0.0.1:8000/v1 端口上提供兼容 OpenAI 协议的 API，这也是 Tokios 连接器所指向的目标地址。正式部署前，请查阅模型说明文档以确认推荐的配置参数及工具调用解析器。
Kimi K2.6 模型本身即以原生 INT4 格式发布。切勿尝试将其转换为 BF16 格式运行，因为执行 BF16 格式转换所需存储空间约为 2.1 TB，且并无实际性能提升。INT4 格式才是该模型的标准格式。

​
不同版本及其规格说明

下文所列各项数据均引自 Hugging Face 上的 Moonshot 模型说明文档及其官方平台文档。在最终确定部署方案前，请务必再次核对相关说明，因为 Moonshot 基本每月都会发布新版 Kimi 模型。 资料来源：moonshotai/Kimi-K2.6、moonshotai/Kimi-K2.7-Code、platform.kimi.com/docs/models 以及 ollama.com/library/kimi-k2.6。
Kimi 采用的 Modified MIT 许可证对绝大多数用途均较为宽松，不过针对大规模商业部署则增加了署名要求：当产品的月活跃用户数或营收超出特定阈值时，须在产品的用户界面中标注“Kimi K2.6”。在基于该模型开发商业产品前，请务必阅读模型说明文档中的 LICENSE 文件。

​
功能特性

  • 智能体式工具调用 — K2.x 模型经过专门训练，可熟练调用各类工具并执行多步骤智能体循环。在借助 vLLM 或 SGLang 部署该模型时，请启用模型说明文档中推荐的对应工具调用解析器，如此 tools 类型的请求才能顺利通过您的终端接口。
  • 原生多模态输入支持 — K2.x 系列模型可处理文本、图像及视频内容。
  • Reasoning — K2.x exposes thinking through Moonshot’s thinking API parameter. Kimi K3 replaces it with a top-level reasoning_effort — don’t mix the two conventions; see the Kimi K3 page for K3’s protocol details.
  • 256K 上下文长度 — 该长度足以支撑大型代码库的编程工作，但在规划长上下文部署方案时，还需额外预留 KV-cache 内存 以配合模型权重使用。

​
该选用哪款 Kimi 模型呢？

  • K2.6 是 Moonshot 推出的通用型旗舰模型，适用于文本创作、数据分析、日常对话以及各类智能体任务。
  • K2.7-Code 则专为编程与智能体任务优化设计，详情请参阅下方的 专门章节。
  • K2.5 是此前的旗舰型号，若贵方已将其纳入标准部署方案，仍可继续使用。
  • K3 则是当前最先进的旗舰型号，不过目前仅支持托管部署；待相关权重发布后，其所需硬件规格还将再提升一个等级。关于其可用性及硬件要求详情，请参阅 Kimi K3；若您的硬件条件无法满足，也可参考 其他可替代方案。

​
Kimi K2.7-Code 专为编程类智能体打造。

Kimi K2.7-Code (June 2026) is the coding-specialized sibling of K2.6: same 1T-MoE architecture, size, and hardware requirements, but tuned for agentic engineering. It cuts reasoning-token usage roughly 30% versus K2.6 and is the default model in Moonshot’s Kimi Code CLI. If coding is the job, it’s the Kimi to serve. 它的部署流程与 K2.6 完全一致：INT4 权重文件的大小相同，所使用的 vLLM/SGLang 服务路径也一致（只需将模型 ID 替换为 moonshotai/Kimi-K2.7-Code 即可），在 Ollama 平台上同样仅支持 :cloud 格式。将其接入 Tokios 端点后，便能与各类编程智能体无缝协作：关于客户端配置详情，请参阅 使用 Claude Code 与 使用 OpenAI Codex。

​
将连接器与 Tokios 进行关联。

当 Kimi 成功在您自己的服务器上运行起来后——此时 vLLM 或 SGLang 会提供一个与 OpenAI 兼容的 /v1——请配置 Tokios 连接器。如此一来，您便能通过 https://api.tokios.com 从 Claude Code、Cline 或其他任何兼容的客户端访问该服务，而无需局限于局域网内部。
1

执行 Tokios 连接器配对操作。

登录 tokios.com/console 页面后，进入 Setup 选项卡并点击 Start pairing 按钮，即可获取一次性使用的令牌（TKS-XXXX-XXXX）。随后在运行 Kimi 模型的服务器上安装并启动该连接器。
Linux
Then approve the device on the Setup or Connectors tab.
2

将连接器指向您运行环境的 /v1 API 接口。

vLLM 与 SGLang 均提供兼容 OpenAI 协议的接口——通常为 http://127.0.0.1:8000/v1。请在 tokios-connector.json 处填入此地址作为上游模型 ID，具体配置说明可参阅 连接器配置指南。
3

执行一次部署注册

在 Models 选项卡中注册所需模型并设定一个公开的部署名称，例如 kimi-tunnel。客户端在发送请求时使用的正是此名称而非上游模型 ID，该名称会填入 model 字段中。
4

生成 API 密钥

回到 Keys 选项卡并点击 Create key。此时请立即复制 sk-tok-… 令牌，该令牌仅会显示一次。

​
任意位置均可调用

请求中的 model 字段必须填写您所注册的 部署 名称（即上文提到的 kimi-tunnel），不可使用上游模型 ID。关于客户端配置详情可参阅 使用 Claude Code 与 使用 OpenAI Codex 文档；Kimi K2.7-Code 与各类编程辅助工具配合效果极佳。

​
注意事项

  • Kimi K2.x 属于一种 1T-参数混合专家模型，尽管每个令牌仅有约 32B 的参数处于活跃状态（详见 此处），但所有万亿级参数都必须能够完整存入内存。该模型仅适用于多 GPU 服务器或配备大容量内存的工作站，无法在单 GPU 环境下运行。
  • Ollama 提供的 kimi-* 标签仅对应 :cloud 版本，这些版本运行于 Ollama 的云端环境而非本地。若需在自有硬件上运行 Kimi，请改用 vLLM 或 SGLang 进行自托管。
  • Kimi 以 原生 INT4 格式发布；切勿将其转换为 BF16 后再运行。
  • Kimi K3 is hosted-only until its weights arrive (promised by July 27, 2026) — the Kimi K3 page tracks availability and what to verify before self-hosting it.
  • Moonshot 会频繁更新 Kimi 版本并逐步淘汰旧预览版，请务必在 platform.kimi.com/docs/models 确认当前有效模型 ID 后再进行部署规划。

Kimi K3

The 2.8T frontier flagship: what’s available now and the hardware reality.

What to run instead of K3

硬件条件不足以运行 K3？这里为您推荐最适合您硬件条件的模型及详细的部署指南。

何种规模的模型才适合您的显卡呢？

关于为何一个具备 1T 参数的混合专家模型需要服务器而非台式机来运行的测算依据。

适合家庭使用的显卡服务器

如何组装出真正能满足 Kimi 这类模型运行需求的多显卡系统。

针对各类任务分别该选用哪种本地模型呢？

那些能在您现有硬件上顺利运行的轻量型模型。