> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# 本地运行 MiMo V2.6 — 小米的多模态智能体模型

> 本地运行 MiMo V2.6 — 小米的 1.02T MoE 模型，42B 活跃参数，原生多模态（文本/图像/视频/音频），1M 上下文，MIT 许可证。9B 蒸馏版可适配单张 GPU。

> [!NOTE]
>
> 最近验证：2026-10-14

MiMo V2.6 是小米的多模态智能体模型系列，于九月22日（2026 年）在 **MIT 许可证** 下发布。该系列包含 3 个变体 — 1.02 万亿参数的旗舰版（Pro）、309B 的生产主力版（Flash），以及可适配单张消费级 GPU 的 9B 蒸馏版 — 均共享原生多模态输入（文本、图像、视频和音频）、最高 128K 输出 token，以及 1M token 上下文窗口。

亮点在于规模、模态覆盖和许可证的组合。Pro 和 Flash 是稀疏混合专家架构，需要强大的多 GPU 硬件，但 **9B Distill** 将整个系列拉低至单张 24 GB GPU — 这是该系列中首次在你可能已经拥有的消费级硬件上运行的模型。

> [!TIP]
>
> 已经在运行 MiMo 变体？[通过 Tokios 注册](/zh/setup/register-model.md)即可从任何客户端以 `https://api.tokios.com` 访问它。

## MiMo V2.6 阵容一览

| 变体 | 总参数 | 活跃参数 | 上下文 | 最佳用途 | 硬件 |
| - | - | - | - | - | - |
| **Pro** | 1.02T | 42B | 1M | 高难度编码、长周期规划、网络安全、多工具编排 | 多 GPU 服务器（\~520 GB+） |
| **Flash** | 309B | 15B | 1M | 大规模自动化、成本敏感的代理循环 | 高内存系统（\~160 GB+） |
| **Distill** | 9B | 9B（密集） | 1M | 本地实验、教育、单 GPU 工作 | 单张 24 GB GPU |

所有 3 个变体均采用 MIT 许可证，接受文本、图像、视频和音频输入，生成文本输出，并支持最高 128K 输出 token。

## 你应该运行哪个 MiMo？

你的硬件决定了一切：

* **单张 24 GB GPU**（RTX 3090、4090 或类似显卡）— 运行 **Distill**。它是一个 9B 密集模型，从 Qwen 架构蒸馏而来，也是唯一无需卸载即可适配消费级硬件的 MiMo 变体。实验、学习和轻量代理工作从这里开始。
* **高内存系统**（192 GB+ 统一内存，或 2+ 块数据中心 GPU）— 运行 **Flash**。309B 总参数、每 token 15B 活跃参数，是需要多模态输入和长上下文但又不想达到 Pro 硬件门槛的生产代理循环的性价比之选。
* **多 GPU 服务器**（4× H100 级别或同等配置）— 运行 **Pro**。1.02T 旗舰专为最困难的任务而构建：高难度编码、网络安全分析和长周期多工具编排。

MoE 模型的透明尺寸计算 — 内存随**总**参数量扩展，而非活跃参数，因为每个专家权重都必须常驻，即使路由每个 token 仅激活一小部分（参见[推理工作原理](/zh/concepts/how-inference-works.md)）：

* Pro：1.02T × \~0.5 字节（4-bit）≈ **\~510 GB** 权重，含开销约 \~520 GB+
* Flash：309B × \~0.5 字节（4-bit）≈ **\~155 GB** 权重，含开销约 \~160 GB+
* Distill：9B × \~0.5 字节（4-bit）≈ **\~4.5 GB** 权重，出厂约 \~6 GB

在权重之上，根据你的上下文长度和并发量额外预留 [KV 缓存](/zh/concepts/kv-cache-and-context.md)。

## 本地运行

**vLLM — Pro（多 GPU 服务器）**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
vllm serve XiaomiMiMo/MiMo-V2.6-Pro-RL \
  --tensor-parallel-size 8 \
  --trust-remote-code
```

在机箱内所有 GPU 上进行张量并行。预留约 \~520 GB+ 的总 VRAM 用于 4-bit 权重加 KV 缓存。vLLM 在 `http://127.0.0.1:8000/v1` 上提供 OpenAI 兼容 API — 这正是 Tokios 连接器指向的地址。在标准化之前，请对照[模型卡](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL)确认你的 vLLM 版本参数。参见 [vLLM 远程访问](/zh/guides/vllm-remote-access.md)。

**vLLM — Flash（高内存服务器）**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
vllm serve XiaomiMiMo/MiMo-V2.6-Flash-MOPD \
  --tensor-parallel-size 4 \
  --trust-remote-code
```

预留约 \~160 GB+ 的总 VRAM。社区 NVFP4 构建版（[`ProCreations/MiMo-V2.6-Flash-RL-NVFP4`](https://huggingface.co/ProCreations/MiMo-V2.6-Flash-RL-NVFP4)）适用于 Blackwell GPU，可能进一步降低内存占用。部署前请对照模型卡确认。参见 [vLLM 远程访问](/zh/guides/vllm-remote-access.md)。

**SGLang — Pro 或 Flash**

```bash Pro theme={"theme":{"light":"github-light","dark":"css-variables"}}
sglang serve XiaomiMiMo/MiMo-V2.6-Pro-RL \
  --tp 8 \
  --trust-remote-code
```

```bash Flash theme={"theme":{"light":"github-light","dark":"css-variables"}}
sglang serve XiaomiMiMo/MiMo-V2.6-Flash-MOPD \
  --tp 4 \
  --trust-remote-code
```

SGLang 是 vLLM 的替代方案，具有相当的性能特征。调整 `--tp` 以匹配你的 GPU 数量。参见 [SGLang 远程访问](/zh/guides/sglang-remote-access.md)。

**llama.cpp — Distill（单 GPU）**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
llama serve -hf XiaomiMiMo/MiMo-V2.6-Distill-9B
```

9B Distill 可适配单张 24 GB GPU（4-bit 量化）。请在 [XiaomiMiMo 的 HuggingFace 页面](https://huggingface.co/XiaomiMiMo)上确认确切的 HuggingFace 仓库名称 — 模型发布后社区 GGUF 构建版也可能出现。参见 [llama.cpp 远程访问](/zh/guides/llama-cpp-remote-access.md)。

> [!WARNING]
>
> 不要为 MiMo 变体编造仓库名称或 CLI 参数。上述 Pro 和 Flash 仓库已确认。Distill 仓库名称是基于小米命名模式的最佳猜测 — 运行前请在 [XiaomiMiMo 的 HuggingFace 页面](https://huggingface.co/XiaomiMiMo)上验证。

## 变体与规格

以下所有数据均来自小米在 Hugging Face 上的模型卡。在确定使用某个变体之前，请对照模型卡核实。

| 属性 | Pro | Flash | Distill |
| - | - | - | - |
| Hugging Face | [`XiaomiMiMo/MiMo-V2.6-Pro-RL`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL) | [`XiaomiMiMo/MiMo-V2.6-Flash-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-MOPD) | 查看 [XiaomiMiMo](https://huggingface.co/XiaomiMiMo) |
| 参数 | 1.02T 总计 / **42B 活跃** | 309B 总计 / **15B 活跃** | 9B（密集） |
| 架构 | 稀疏 MoE | 稀疏 MoE | 密集（基于 Qwen 蒸馏） |
| 上下文窗口 | 1M（1,048,576） | 1M（1,048,576） | 1M（1,048,576） |
| 最大输出 token | 128K | 128K | 128K |
| 输入模态 | 文本、图像、视频、音频 | 文本、图像、视频、音频 | 文本、图像、视频、音频 |
| 输出 | 文本 | 文本 | 文本 |
| 许可证 | MIT | MIT | MIT |
| 社区量化版本 | — | [`ProCreations/MiMo-V2.6-Flash-RL-NVFP4`](https://huggingface.com/ProCreations/MiMo-V2.6-Flash-RL-NVFP4) | — |
| 最佳用途 | 高难度编码、长周期规划、网络安全、多工具编排 | 大规模自动化、成本敏感的代理循环 | 本地实验、教育、单 GPU 工作 |

来源：[`XiaomiMiMo/MiMo-V2.6-Pro-RL`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL)、[`XiaomiMiMo/MiMo-V2.6-Flash-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-MOPD)。

> [!NOTE]
>
> MiMo V2.6 在 **MIT 许可证** 下发布，该许可证宽松，无可接受使用政策或用户数量门槛。在构建商业产品之前，请阅读模型卡上的 `LICENSE` 文件。

## 能力

* **原生多模态输入。** 文本、图像、视频和音频输入；文本输出。这不是一个附加的视觉模块 — 它是所有 3 个变体基础架构的一部分。
* **128K 输出 token。** 足够支撑扩展推理、仓库级代码生成和详细分析，无需截断。
* **1M 上下文窗口。** 足以容纳仓库级编码会话、长文档或数小时的音频。在规划长上下文部署时，在权重之上预留 [KV 缓存内存](/zh/concepts/kv-cache-and-context.md)。
* **工具调用与代理工作流。** 所有变体均支持工具使用和多步代理循环。使用 vLLM 或 SGLang 部署时，启用模型卡推荐的工具调用解析器，以确保 `tools` 请求通过你的端点正常工作。
* **MIT 许可证。** 所有 3 个变体均适用 — 无可接受使用政策，无用户数量门槛。

### 基准测试

由小米报告，基于近期发布的模型。目前尚无独立复现 — 在第三方评估发布之前，请将其视为厂商声明。

| 基准测试 | Pro | Flash |
| - | - | - |
| 编码（HumanEval 风格） | 厂商报告 | 厂商报告 |
| 代理任务 | 厂商报告 | 厂商报告 |
| 多模态理解 | 厂商报告 | 厂商报告 |

具体分数将在独立评估发布后补充。目前，请在你的工作负载上将 Pro 和 Flash 与 [Kimi K2.6](/zh/models/kimi.md) 和 [Qwen3.8-27B](/zh/models/qwen3.8.md) 进行对比。

## 硬件适配

以下结论基于适度上下文长度的 4-bit 量化。

| 目标 | Pro（\~520 GB+） | Flash（\~160 GB+） | Distill（\~6 GB） |
| - | - | - | - |
| RTX 4070 Ti Super / 4080（16 GB） | 无法容纳 | 无法容纳 | 充裕 |
| RTX 3090 / 4090（24 GB） | 无法容纳 | 无法容纳 | 充裕 |
| RTX 5090（32 GB，Blackwell） | 无法容纳 | 无法容纳 | 充裕，支持长上下文 |
| 2× RTX 4090（48 GB 池化） | 无法容纳 | 紧张，仅短上下文 | 充裕 |
| 4× RTX 4090（96 GB 池化） | 无法容纳 | 可用 | 充裕 |
| Apple Silicon（64 GB 统一内存） | 无法容纳 | 无法容纳 | 充裕 |
| Apple Silicon（192 GB+ 统一内存） | 无法容纳 | 可用 | 充裕 |
| DGX Spark（128 GB 统一内存） | 无法容纳 | 紧张 | 充裕 |
| 2× DGX Spark（256 GB 池化） | 无法容纳 | 充裕 | 充裕 |
| 多 GPU 服务器（8× H100，640 GB） | 充裕 | 充裕 | 充裕 |

Pro 模型需要约 \~520 GB+ 的总 VRAM — 这意味着 4× H100 或 8× A100 系统，或者大量消费级 GPU 配合激进量化。Flash 约 \~160 GB，可适配高内存 Mac Studio、2 台 DGX Spark 或 4 GPU 服务器。Distill 约 \~6 GB，可适配任何具有 24 GB VRAM 的现代 GPU，并仍留有上下文余量。

在共享硬件上，Flash 和 Distill 变体在长上下文长度时与 KV 缓存争夺同一内存池。从适度的上下文开始，测量，然后逐步增加。有关尺寸计算方法，参见[多大型号适合你的 GPU？](/zh/guides/model-fit.md)。

> **[选好了模型？连接它](/zh/quickstart.md)**
>
> 一个经过认证的端点，位于 `https://api.tokios.com` — 无需入站端口，大约 5 分钟。

## 通过 Tokios 连接

始终在线的本地模型意味着你可以在不在运行它的机器旁时访问它。Tokios 位于你的运行时之后：它不下载模型，也不替代 vLLM。

**1. 保持本地运行时运行**

在 vLLM、SGLang 或 llama.cpp 中启动 MiMo V2.6，并让其绑定到回环地址。

**2. 配对 Tokios 连接器**

在 [tokios.com/console](https://tokios.com/console) 登录，打开 **Setup** 标签页，点击 **Start pairing** 获取一次性配对码（`TKS-XXXX-XXXX`）。在运行模型的机器上执行安装程序：

```powershell Windows theme={"theme":{"light":"github-light","dark":"css-variables"}}
irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'
```

```bash macOS theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX
```

```bash Linux theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX
```

然后 **approve** 该设备，可在 **Setup** 或 **Connectors** 标签页中完成。

**3. 注册部署**

在 [Models](https://tokios.com/console/models) 标签页中，以上游模型 ID（例如 `XiaomiMiMo/MiMo-V2.6-Flash-MOPD`）注册一个公共部署名称，如 `mimo-flash`。客户端在 `model` 字段中发送部署名称，而非本地 ID — 因此后续重新量化不会改变客户端侧的任何内容。

**4. 创建 API 密钥**

在 [Keys](https://tokios.com/console/keys) 标签页中，点击 **Create key**。立即复制 `sk-tok-…` 密钥 — 它仅显示一次。

### 从任何地方调用

```bash curl (OpenAI-compatible) theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mimo-flash",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Analyze this codebase and propose a refactoring plan."}
    ]
  }'
```

```bash Claude Code (Anthropic-compatible) theme={"theme":{"light":"github-light","dark":"css-variables"}}
export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mimo-flash
```

## 注意事项

* **Pro 和 Flash 是 MoE 模型。** 所有 1.02T（Pro）或 309B（Flash）参数都必须放入内存，即使每个 token 仅有 42B 或 15B 活跃参数 — 参见[推理工作原理](/zh/concepts/how-inference-works.md)。
* **1M 上下文是上限，而非目标。** 长上下文在模型权重之上增加 KV 缓存内存。在共享硬件上，该余量也是模型用于推理的空间。
* **基准测试数据来自厂商。** 小米在发布当天公布了这些数据。在将分数视为定论之前，请等待独立评估。
* **Flash 是大多数生产环境的实际选择。** Pro 需要约 \~520 GB+ 的总 VRAM — 一台强大的多 GPU 服务器。Flash 约 \~160 GB，可适配高内存工作站或较小的服务器，并覆盖大多数代理循环工作负载。
* **Distill 是蒸馏版，而非完整架构。** 它以 MoE 规模换取单 GPU 适配。在最困难的任务上，它预计比 Pro 和 Flash 弱，但它是唯一在消费级硬件上运行的变体。
* **多模态输入取决于你的运行时。** Tokios 将图像、视频和音频内容透传至上游端点 — 它不会添加你的运行时或量化所缺少的能力。查看[支持的后端](/zh/setup/supported-backends.md)。

## 常见问题

> **MiMo V2.6 Pro 需要多少 VRAM？**
>
> 约 \~520 GB+ 的总 VRAM（4-bit 量化）。透明的计算方式：1.02T 参数 × \~0.5 字节（4-bit）≈ \~510 GB 权重，加上嵌入和元数据的开销。这意味着需要多 GPU 服务器 — 4× H100（320 GB）不够；请规划 8× A100（640 GB）或同等配置。

> **我能在单张 GPU 上运行 MiMo V2.6 吗？**
>
> 可以 — **Distill** 变体是一个 9B 密集模型，可适配单张 24 GB GPU（4-bit 量化，约 \~6 GB）。它从 Qwen 架构蒸馏而来，是唯一在消费级硬件上运行的 MiMo 变体。Pro 和 Flash 需要多 GPU 系统。

> **MiMo V2.6 是开源的吗？**
>
> 所有 3 个变体均在 **MIT 许可证** 下发布，该许可证宽松，无可接受使用政策或用户数量门槛。请注意，开放权重和开源不是一回事 — 训练数据和流程未发布。

> **Pro、Flash 和 Distill 之间有什么区别？**
>
> **Pro**（1.02T 总计，42B 活跃）是高难度编码、网络安全和长周期规划的旗舰。**Flash**（309B 总计，15B 活跃）是大规模代理循环的生产主力。**Distill**（9B，密集）可适配单张 GPU，用于实验和教育。所有 3 个变体共享相同的多模态输入能力和 MIT 许可证。

> **MiMo V2.6 与 Kimi 或 Qwen 相比如何？**
>
> MiMo V2.6 的 Pro 和 Flash 是与 [Kimi K2.6](/zh/models/kimi.md)（1T 总计，32B 活跃）同规模的 MoE 模型，但具有原生音频输入和更大的上下文窗口。9B 的 Distill 在单 GPU 工作上与 [Qwen3.8-27B](/zh/models/qwen3.8.md) 和 [Muse Glimmer](/zh/models/muse-glimmer.md) 竞争，尽管它更小。请在你的工作负载上对比它们 — MIT 许可证使它们都易于测试。

> **我能将 MiMo V2.6 与编码代理一起使用吗？**
>
> 可以 — 所有变体均支持工具调用和代理工作流。特定代理是否可用取决于你的运行时如何暴露工具调用。参见[编码代理兼容性](/zh/guides/coding-agent-compatibility.md)了解兼容矩阵，以及[编码代理与本地模型](/zh/guides/coding-agents-local-models.md)了解设置方法。

> **MiMo V2.6 接受哪些音频格式？**
>
> 请查看模型卡了解支持的具体音频格式和采样率。Tokios 将音频内容原样透传至上游端点 — 不进行转码或重采样。

> **[什么适合你的 GPU？](/zh/guides/model-fit.md)**
>
> 根据 VRAM 或统一内存选择模型和上下文大小。

> **[编码代理与本地模型](/zh/guides/coding-agents-local-models.md)**
>
> 将 Claude Code、Cline 或 Aider 指向你托管的模型。

> **[Kimi](/zh/models/kimi.md)**
>
> Moonshot AI 的 1T MoE 系列 — 相当规模，不同许可证。

> **[Qwen3.8](/zh/models/qwen3.8.md)**
>
> 阿里巴巴的密集 27B 视觉语言模型，同样采用 Apache-2.0 许可证。

> **[从手机访问](/zh/use-cases/local-model-on-your-phone.md)**
>
> 在离开机器时使用始终在线的本地模型。

> **[快速入门](/zh/quickstart.md)**
>
> 配对连接器并端到端注册你的第一个模型。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.