> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# DeepInfer：DeepSeek 的数据中心推理引擎

> DeepInfer 是 DeepSeek 面向 V4.1-Flash 在 SM100 数据中心 GPU 上的开源生产推理框架。采用 Apache 2.0 许可证，但并非 vLLM 的替代品——仅支持 SM100，单模型，无 API 服务器。

DeepInfer 是 DeepSeek 的内部推理框架，于 2026 年以 Apache 2.0 许可证开源。它为 `chat.deepseek.com` 背后的生产服务基础设施提供动力，每天处理 155 万亿个 token。它**不是**通用服务引擎——而是针对 DeepSeek V4.1-Flash 在 NVIDIA SM100 数据中心 GPU 上的专用单模型优化器。

> [!WARNING]
>
> **DeepInfer 无法在消费级硬件上运行。** 它需要 NVIDIA SM100 架构（B100、B200、GB200 NVL72）或华为昇腾 950 NPU。它**不**支持 SM90（H100/H200）、SM120/SM121（RTX 5090、DGX Spark GB10）或任何消费级/专业级 GPU。如果你运行工作站或家庭实验室，请改用 [vLLM](https://docs.tokios.com/guides/vllm-remote-access.md) 或 [SGLang](https://docs.tokios.com/guides/sglang-remote-access.md)。

> [!NOTE]
>
> 最后验证时间：2026-10-24

## DeepInfer 是什么

DeepInfer 是一个离线推理框架——它不提供 API 服务器、KV 缓存持久化、prefill/decode 分离或负载均衡器。它是位于服务栈底层的计算内核层，而非 vLLM 或 SGLang 的替代品。

| 属性 | 值 |
| - | - |
| GitHub | [`deepseek-ai/DeepInfer`](https://github.com/deepseek-ai/DeepInfer) |
| 许可证 | Apache 2.0 |
| 支持的模型 | **仅 DeepSeek V4.1-Flash** |
| 支持的硬件 | NVIDIA SM100（B100、B200、GB200）或华为昇腾 950 |
| 最低配置 | 4 块 SM100 GPU（prefill），64 块 SM100 GPU（decode） |
| API 服务器 | 无——仅离线推理 |
| KV 缓存持久化 | 不支持 |
| 负载均衡 | 不支持 |

## 硬件要求

在评估 DeepInfer 之前，最重要的是了解其 SM100 要求。

| 计算能力 | 架构 | GPU | DeepInfer 支持 |
| - | - | - | - |
| SM100 (10.0) | Blackwell 数据中心 | B100、B200、GB200 NVL72 | **支持** |
| SM103 (10.3) | Blackwell 数据中心 | B300、GB300 | **支持** |
| SM90 (9.0) | Hopper | H100、H200 | 不支持 |
| SM120 (12.0) | Blackwell 消费级 | RTX 5090、RTX 5080 | 不支持 |
| SM121 (12.1) | Blackwell 桌面级 | DGX Spark GB10 | 不支持 |

SM100/SM120 属于同一架构家族（Blackwell），但是不同的芯片。消费级 Blackwell（SM120/121）使用 DeepInfer 未针对的不同 tensor core 指令。

**系统要求：**

* Linux（推荐 Ubuntu 22.04+）
* GCC >= 13.0
* Python 3.12
* CUDA 13（NVIDIA）或 CANN 9.2（华为昇腾）

## 性能

DeepInfer 的基准测试来自 4 GPU prefill / 64 GPU decode 集群运行 V4.1-Flash：

| 指标 | 吞吐量 | 说明 |
| - | - | - |
| Prefill | \~60,000–89,000 tok/s/GPU | 输入处理 |
| Decode | \~2,600–26,000 tok/s/GPU | 随请求数量扩展 |
| 每用户 decode | \~325 tok/s | 每个数据并行组 8 个请求 |

这些数据需要完整的 64 GPU decode 集群。4 GPU 设置的吞吐量会大幅降低。

## 关键技术

DeepInfer 结合了多种推理优化技术：

* **FlashMLA** — DeepSeek 自定义的 MLA（Multi-head Latent Attention）内核，用于压缩 KV 缓存
* **DeepGEMM** — 用于 MoE 专家计算的自定义 GEMM 内核
* **Attention DP + MoE EP** — 注意力层的数据并行，MoE 层的专家并行
* **DSpark 验证** — 使用附加 DSpark 头的置信度调度推测验证
* **SWA 有界回放** — 滑动窗口注意力与有界回放缓冲区
* **异步调度** — 计算与内存操作的重叠
* **批次不变推理** — 无论批次大小如何，均保持确定性采样
* **结构化输出** — 正则表达式和 JSON schema 约束生成

## DeepInfer 与 vLLM 和 SGLang 的对比

| 功能 | DeepInfer | vLLM | SGLang |
| - | - | - | - |
| 模型支持 | 仅 V4.1-Flash | 200+ 模型 | 100+ 模型 |
| 硬件 | SM100 / 昇腾 950 | 广泛的 NVIDIA、AMD、Apple | 广泛的 NVIDIA、AMD |
| API 服务器 | 无 | OpenAI 兼容 | OpenAI 兼容 |
| KV 缓存持久化 | 不支持 | 支持 | 支持（RadixAttention） |
| Prefill/decode 分离 | 不支持 | 支持 | 支持 |
| 负载均衡 | 不支持 | 外部 | 外部 |
| 连续批处理 | 支持 | 支持 | 支持 |
| 消费级 GPU 支持 | 不支持 | 支持 | 支持 |

DeepInfer 基于 vLLM 内部机制构建，并以 SGLang 和 TensorRT-LLM 作为灵感来源。对于通用服务，vLLM 或 SGLang 是更实用的选择。只有当你在数据中心规模下运行 V4.1-Flash 并部署 SM100 或昇腾 950 时，DeepInfer 才具有相关性。

## 是否应该使用 DeepInfer？

**适合使用 DeepInfer 的情况：**

* 你拥有 64+ 块 SM100 GPU（B200、GB200）或昇腾 950 NPU
* 你将 DeepSeek V4.1-Flash 作为主要模型提供服务
* 你需要每块 GPU 的最大吞吐量，并拥有相应的集群支持
* 你希望研究 MoE 模型的生产推理优化

**适合使用 vLLM 或 SGLang 的情况：**

* 你运行消费级或专业级 GPU（RTX 5090、DGX Spark、Mac Studio）
* 你需要提供多个模型
* 你需要 API 服务器、KV 缓存或负载均衡
* 你需要广泛的硬件和模型支持

**适合使用 Ollama 或 llama.cpp 的情况：**

* 你运行单个工作站或笔记本电脑
* 你需要最简单的设置方式
* 你通过社区 GGUF 构建提供 V4.1-Flash

## 常见问题

> **我能在 RTX 5090 上运行 DeepInfer 吗？**
>
> 不能。DeepInfer 需要 SM100 架构（B100、B200、GB200），仅限数据中心。RTX 5090 使用 SM120（消费级 Blackwell），是不同的芯片实现。请在 RTX 5090 上改用 vLLM 或 SGLang。

> **我能在 DGX Spark 上运行 DeepInfer 吗？**
>
> 不能。DGX Spark 使用 GB10 芯片，属于 SM121（桌面级 Blackwell）。DeepInfer 针对 SM100（数据中心 Blackwell）。请在 DGX Spark 上使用 vLLM 或 SGLang——参见 [V4.1 Flash on 2 DGX Sparks](https://docs.tokios.com/blog/deepseek-v41-flash-dgx-spark.md)。

> **DeepInfer 能替代 vLLM 吗？**
>
> 不能。DeepInfer 是面向单一硬件架构上单一模型的离线推理引擎。vLLM 是通用服务框架，提供 API 服务器、KV 缓存，并支持 200+ 模型。它们处于栈的不同层。

> **DeepInfer 支持哪些模型？**
>
> 仅支持 DeepSeek V4.1-Flash。不支持其他模型。

> **DeepInfer 是开源的吗？**
>
> 是的，采用 Apache 2.0 许可证。源代码位于 [`deepseek-ai/DeepInfer`](https://github.com/deepseek-ai/DeepInfer)。

> **[DeepSeek V4.1-Flash](https://docs.tokios.com/models/deepseek.md)**
>
> DeepInfer 服务的模型——规格、硬件要求和本地设置。

> **[V4.1 Flash on 2 DGX Sparks](https://docs.tokios.com/blog/deepseek-v41-flash-dgx-spark.md)**
>
> 使用 vLLM 和 SGLang 的消费级 V4.1-Flash 方案。

> **[vLLM 远程访问](https://docs.tokios.com/guides/vllm-remote-access.md)**
>
> 基于 OpenAI 兼容 API 的通用服务。

> **[SGLang 远程访问](https://docs.tokios.com/guides/sglang-remote-access.md)**
>
> 基于 RadixAttention 的高吞吐量服务。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.