跳转到主要内容
DeepInfer 是 DeepSeek 的内部推理框架，于 2026 年以 Apache 2.0 许可证开源。它为 chat.deepseek.com 背后的生产服务基础设施提供动力，每天处理 155 万亿个 token。它不是通用服务引擎——而是针对 DeepSeek V4.1-Flash 在 NVIDIA SM100 数据中心 GPU 上的专用单模型优化器。
DeepInfer 无法在消费级硬件上运行。 它需要 NVIDIA SM100 架构（B100、B200、GB200 NVL72）或华为昇腾 950 NPU。它不支持 SM90（H100/H200）、SM120/SM121（RTX 5090、DGX Spark GB10）或任何消费级/专业级 GPU。如果你运行工作站或家庭实验室，请改用 vLLM 或 SGLang。
最后验证时间：2026-10-24

​
DeepInfer 是什么

DeepInfer 是一个离线推理框架——它不提供 API 服务器、KV 缓存持久化、prefill/decode 分离或负载均衡器。它是位于服务栈底层的计算内核层，而非 vLLM 或 SGLang 的替代品。

​
硬件要求

在评估 DeepInfer 之前，最重要的是了解其 SM100 要求。 SM100/SM120 属于同一架构家族（Blackwell），但是不同的芯片。消费级 Blackwell（SM120/121）使用 DeepInfer 未针对的不同 tensor core 指令。 系统要求：
  • Linux（推荐 Ubuntu 22.04+）
  • GCC >= 13.0
  • Python 3.12
  • CUDA 13（NVIDIA）或 CANN 9.2（华为昇腾）

​
性能

DeepInfer 的基准测试来自 4 GPU prefill / 64 GPU decode 集群运行 V4.1-Flash： 这些数据需要完整的 64 GPU decode 集群。4 GPU 设置的吞吐量会大幅降低。

​
关键技术

DeepInfer 结合了多种推理优化技术：
  • FlashMLA — DeepSeek 自定义的 MLA（Multi-head Latent Attention）内核，用于压缩 KV 缓存
  • DeepGEMM — 用于 MoE 专家计算的自定义 GEMM 内核
  • Attention DP + MoE EP — 注意力层的数据并行，MoE 层的专家并行
  • DSpark 验证 — 使用附加 DSpark 头的置信度调度推测验证
  • SWA 有界回放 — 滑动窗口注意力与有界回放缓冲区
  • 异步调度 — 计算与内存操作的重叠
  • 批次不变推理 — 无论批次大小如何，均保持确定性采样
  • 结构化输出 — 正则表达式和 JSON schema 约束生成

​
DeepInfer 与 vLLM 和 SGLang 的对比

DeepInfer 基于 vLLM 内部机制构建，并以 SGLang 和 TensorRT-LLM 作为灵感来源。对于通用服务，vLLM 或 SGLang 是更实用的选择。只有当你在数据中心规模下运行 V4.1-Flash 并部署 SM100 或昇腾 950 时，DeepInfer 才具有相关性。

​
是否应该使用 DeepInfer？

适合使用 DeepInfer 的情况：
  • 你拥有 64+ 块 SM100 GPU（B200、GB200）或昇腾 950 NPU
  • 你将 DeepSeek V4.1-Flash 作为主要模型提供服务
  • 你需要每块 GPU 的最大吞吐量，并拥有相应的集群支持
  • 你希望研究 MoE 模型的生产推理优化
适合使用 vLLM 或 SGLang 的情况：
  • 你运行消费级或专业级 GPU（RTX 5090、DGX Spark、Mac Studio）
  • 你需要提供多个模型
  • 你需要 API 服务器、KV 缓存或负载均衡
  • 你需要广泛的硬件和模型支持
适合使用 Ollama 或 llama.cpp 的情况：
  • 你运行单个工作站或笔记本电脑
  • 你需要最简单的设置方式
  • 你通过社区 GGUF 构建提供 V4.1-Flash

​
常见问题

不能。DeepInfer 需要 SM100 架构（B100、B200、GB200），仅限数据中心。RTX 5090 使用 SM120（消费级 Blackwell），是不同的芯片实现。请在 RTX 5090 上改用 vLLM 或 SGLang。
不能。DGX Spark 使用 GB10 芯片，属于 SM121（桌面级 Blackwell）。DeepInfer 针对 SM100（数据中心 Blackwell）。请在 DGX Spark 上使用 vLLM 或 SGLang——参见 V4.1 Flash on 2 DGX Sparks。
不能。DeepInfer 是面向单一硬件架构上单一模型的离线推理引擎。vLLM 是通用服务框架，提供 API 服务器、KV 缓存，并支持 200+ 模型。它们处于栈的不同层。
仅支持 DeepSeek V4.1-Flash。不支持其他模型。
是的，采用 Apache 2.0 许可证。源代码位于 deepseek-ai/DeepInfer。

DeepSeek V4.1-Flash

DeepInfer 服务的模型——规格、硬件要求和本地设置。

V4.1 Flash on 2 DGX Sparks

使用 vLLM 和 SGLang 的消费级 V4.1-Flash 方案。

vLLM 远程访问

基于 OpenAI 兼容 API 的通用服务。

SGLang 远程访问

基于 RadixAttention 的高吞吐量服务。