在本地运行 DeepSeek-R1：蒸馏版、硬件适配与设置

最后验证时间：2026-10-14

DeepSeek-R1 是 DeepSeek 早期的推理模型系列。几乎所有人都在本地运行它的 蒸馏版——一个基于 R1 推理轨迹微调的较小 Qwen 或 Llama 模型，使推理行为可以在笔记本级 GPU 上运行，而非多 GPU 服务器。当您需要的正是这种轻量硬件方案时，请使用本页。如需了解 DeepSeek 当前的开放权重发布版本、编码代理改进、工具调用和 1M 上下文，请从 DeepSeek-V4-Flash-0731 开始。将 Tokios 与您运行的任何模型搭配使用，即可通过 https://api.tokios.com 从任何机器、团队成员或托管代理访问——无需入站端口，无需 VPN。

使用 Ollama 在本地运行

Ollama 上的 deepseek-r1 标签发布的是蒸馏版，而非完整模型。拉取并运行默认版本（当前为 7b Qwen 蒸馏版）：

ollama run deepseek-r1

如需特定大小，请直接指定标签——例如 ollama run deepseek-r1:14b。完整标签列表请参见 Ollama 库页面。

Ollama 的默认上下文窗口为 2048 个 token，远低于这些模型支持的上限——而 R1 风格的推理在得出答案的过程中会快速消耗上下文。请将 num_ctx 调高至下表中列出的上下文大小（通过 CLI 中的 /set parameter num_ctx <value>，或在 Modelfile/API 请求中设置）。

变体与标签

以下所有数据均来自 Ollama 库和各模型在 Hugging Face 上的配置。随着新量化版本的发布，标签、大小和默认值可能会变化——在确定使用某个版本前，请先在 ollama.com/library/deepseek-r1 上确认。

蒸馏版	基础模型	Ollama 标签（`Q4_K_M`）	下载大小	上下文
1.5B	Qwen2.5-Math-1.5B	`deepseek-r1:1.5b`	~1.1 GB	128K
7B	Qwen2.5-Math-7B	`deepseek-r1:7b`（默认）	~4.7 GB	128K
8B	Llama-3.1-8B	`deepseek-r1:8b`	~4.9 GB	128K
8B（0528，Qwen3 基础）	Qwen3-8B	`deepseek-r1:8b-0528-qwen3-q4_K_M`	~5.2 GB	128K
14B	Qwen2.5-14B	`deepseek-r1:14b`	~9.0 GB	128K
32B	Qwen2.5-32B	`deepseek-r1:32b`	~20 GB	128K
70B	Llama-3.3-70B-Instruct	`deepseek-r1:70b`	~43 GB	128K
671B（完整 R1）	—	`deepseek-r1:671b`	~404 GB	160K
671B（R1-0528，完整）	—	`deepseek-r1:671b-0528-q4_K_M`	~404 GB	160K

来源：ollama.com/library/deepseek-r1/tags、deepseek-ai/DeepSeek-R1 README。

其中 671b 标签是完整的 DeepSeek-R1（及 R1-0528），不是蒸馏版——Ollama 只是将它们发布在同一个 deepseek-r1 名称下。从 1.5b 到 70b 都是蒸馏版：基于 R1 推理轨迹微调的 Qwen 或 Llama 模型，而非缩小版的 R1 本身。关于这一区别对输出质量的影响，请参见推理工作原理。

量化与格式

Ollama 的默认标签为 GGUF Q4_K_M。每个蒸馏版大小和完整的 671b 都在库页面上发布了 -q8_0 和 -fp16 标签，提供损耗更低（但大得多）的下载。关于哪些格式可在您的 GPU 上运行，请参见量化格式及其硬件需求；请参见什么是量化了解如何解读 Q4_K_M 等名称。

硬件适配

在大约 Q4 量化下对适中上下文长度的适配情况。将每个条目视为估算值——实际依据是 GGUF 文件大小加上您的上下文所需的 KV 缓存。关于模型大小如何匹配 GPU 的计算方法，请参见您的 GPU 能运行多大的模型？。

目标硬件	1.5B–8B（~1–5 GB）	14B（~9 GB）	32B（~20 GB）	70B（~43 GB）	671B（~404 GB）
笔记本 / 8 GB GPU	舒适	紧张	无法装入	无法装入	无法装入
RTX 3090 / 4090（24 GB）	舒适	舒适	舒适	无法装入	无法装入
RTX 5090（32 GB）	舒适	舒适	舒适，更长上下文	无法装入	无法装入
RTX 6000 Ada / A6000（48 GB）	舒适	舒适	舒适，长上下文	紧张，短上下文	无法装入
Apple Silicon / Strix Halo（96–128 GB 统一内存）	舒适	舒适	舒适	舒适	无法装入
多 GPU 服务器（8× 80 GB 级）	舒适	舒适	舒适	舒适	舒适，使用 `Q4`

完整的 671b 在 Q4_K_M 下仅权重就需要约 404 GB——需要多个数据中心级 GPU 或等效的统一内存集群，而非单个工作站。70b 及以下的所有版本在爱好者实际拥有的硬件上都是可行的。

运行方式——从入门到高级

Ollama（最简单）
LM Studio（GUI）
vLLM（高级）
SGLang（高级）

ollama run deepseek-r1:14b

让 Ollama 在默认的 http://127.0.0.1:11434 上监听。调高 num_ctx 以使用更大的模型上下文窗口。

在 LM Studio 的模型目录中搜索 DeepSeek R1，选择一个适合您显存的蒸馏版大小（从 14b 或 32b 开始，使用 Q4_K_M 量化），然后启动 LM Studio 的本地服务器。它在 http://127.0.0.1:1234/v1 上提供 OpenAI 兼容 API。

运行蒸馏版：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --tensor-parallel-size 2 \
  --max-model-len 32768

运行完整模型时，需将模型分片到足够多的 GPU 以容纳约 404 GB（Q4）或更高精度的数据。参数来自模型卡的 vLLM 部分。

python3 -m sglang.launch_server \
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --trust-remote-code \
  --tp 2

将模型 ID 替换为 deepseek-ai/DeepSeek-R1 并调高 --tp 即可运行完整模型。参数来自模型卡的 SGLang 部分。

能力

推理： R1 和所有蒸馏版在最终答案前会输出一个 <think>…</think> 块。DeepSeek 的模型卡建议温度为 0.5–0.7（推荐 0.6），不使用系统提示词，并且——对于数学——明确要求模型”逐步推理”并将最终答案放入框中。
原生工具调用： 在蒸馏版上不可靠。 Ollama 对 R1 蒸馏版的聊天模板不支持 Llama 3.1/3.3 或 Qwen3 那样的工具/函数调用——参见 ollama/ollama#8517（已关闭，蒸馏版模板未解决）。如果您的工作负载需要调用工具的代理，请选择专为此设计的模型——参见按任务选择模型。
上下文： 每个蒸馏版（1.5b 到 70b）为 128K；完整的 671b 为 160K，涵盖 R1 和 R1-0528。
视觉： 本页上的所有模型都不支持多模态——DeepSeek-R1 及其蒸馏版仅支持文本。

超越 R1：使用 V4 Flash 0731 获取当前前沿模型

R1 是基于 DeepSeek V3 架构的推理优化检查点。当前的官方发布版本是 deepseek-ai/DeepSeek-V4-Flash-0731，取代了 V4 Flash 预览版。它采用开放权重和 MIT 许可，但需要多设备服务器而非典型的单个工作站。DeepSeek 系列概览介绍了其 284B 目标 / 13B 激活架构、附带的 DSpark 头、工具调用、1M 上下文和本地硬件方案。

通过 Tokios 连接

DeepSeek 模型在本地运行后，配对 Tokios 连接器，即可从 Claude Code、Cline 或任何其他兼容客户端通过 https://api.tokios.com 访问——而不仅仅是从 localhost:11434。

配对 Tokios 连接器

在 tokios.com/console 登录，打开 Setup 标签，点击 Start pairing 获取一次性配对码（TKS-XXXX-XXXX）。在运行 Ollama 的机器上安装并运行连接器：

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

然后 approve 该设备，可在 Setup 或 Connectors 标签页中操作。

将连接器指向 Ollama 的 /v1 API

Ollama 在 /v1 处提供 OpenAI 兼容接口。对于单模型设置，控制台的设置向导会自动将其填入为 http://127.0.0.1:11434/v1。对于多模型设置，请在 tokios-connector.json 中显式设置——参见连接器配置。

注册部署

在 Models 标签中，注册模型并选择一个公共部署名称，例如 deepseek-r1-tunnel。客户端在 model 字段中发送的是此名称，而非 Ollama 的本地模型 ID。

创建 API 密钥

在 Keys 标签中，点击 Create key。立即复制 sk-tok-… 密钥——它仅显示一次。

从任何地方调用

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Explain the halting problem."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model deepseek-r1-tunnel

注意 model 字段始终是您注册的部署名称（上例中的 deepseek-r1-tunnel），而非 Ollama 的本地模型 ID。Tokios 将 localhost 上运行的任何模型变为稳定的、经过身份验证的端点——它不会改变模型的能力。请参见使用 Claude Code和使用 Cline了解完整的客户端设置。

注意事项

R1 蒸馏版的工具调用不可靠。 如果您正在接入需要模型调用工具的代理、CLI 或 IDE 插件，请改用具有已确认原生工具支持的模型——参见按任务选择模型。
调高上下文窗口。 Ollama 的 2048 token 默认值会很快截断 R1 风格的推理输出；实际使用时请调高 num_ctx，最高可达 128K（蒸馏版）或 160K（完整 671b）。
蒸馏版不是完整模型。 1.5b–70b 标签是在 R1 推理轨迹上微调的 Qwen/Llama 检查点——它们在轻量硬件上复现推理行为，而非 R1 的完整能力。基准质量随大小降低而下降；蒸馏版评估表请参见 DeepSeek-R1 模型卡。
各蒸馏版的许可不同。 完整的 R1/R1-0528 权重和基于 Qwen 的蒸馏版（1.5b、7b、14b、32b）为 MIT 许可。基于 Llama 的蒸馏版（8b、70b）则采用 Meta 的 Llama 3.1/3.3 许可，继承自其基础模型——在商业使用这两个特定标签前请检查该许可。
671B 需要真正的多 GPU 硬件——仅 Q4_K_M 就约需 404 GB——而非典型的单工作站设置。当前的 V4 Flash 0731 检查点更小，但在 KV 缓存和运行时开销前仍需约 162–167 GB；参见 DeepSeek 系列概览。
Tokios 将工具调用请求直接透传给上游模型所支持的能力——它不会为底层模型添加其本身不具备的工具调用能力。

DeepSeek 系列概览

R1 对比 V3.x 对比 V4 前沿——哪个层级适合您的硬件。

按任务选择模型

如果您正在构建代理，请选择具有可靠工具调用的模型。

将模型匹配到您的 GPU

在选择标签前，比较不同蒸馏版大小对应的显存级别。

量化与硬件

哪些格式——GGUF、FP16 及更多——可在您的硬件上运行。

入门

模型

概念

参考

在本地运行 DeepSeek-R1：蒸馏版、硬件适配与设置

使用 Ollama 在本地运行

变体与标签

量化与格式

硬件适配

运行方式——从入门到高级

能力

超越 R1：使用 V4 Flash 0731 获取当前前沿模型

通过 Tokios 连接

从任何地方调用

注意事项

DeepSeek 系列概览

按任务选择模型

将模型匹配到您的 GPU

量化与硬件

​使用 Ollama 在本地运行

​变体与标签

​量化与格式

​硬件适配

​运行方式——从入门到高级

​能力

​超越 R1：使用 V4 Flash 0731 获取当前前沿模型

​通过 Tokios 连接

​从任何地方调用

​注意事项

DeepSeek 系列概览

按任务选择模型

将模型匹配到您的 GPU

量化与硬件

使用 Ollama 在本地运行

变体与标签

量化与格式

硬件适配

运行方式——从入门到高级

能力

超越 R1：使用 V4 Flash 0731 获取当前前沿模型

通过 Tokios 连接

从任何地方调用

注意事项