Skip to main content
If you want DeepSeek’s latest open-weight model, start with deepseek-ai/DeepSeek-V4-Flash-0731. It supersedes the V4 Flash preview, adds substantially stronger agentic behavior, supports low, high, and max reasoning effort, and bundles the DSpark speculative-decoding module. It is a 284B-target, 13B-active MoE that can fit across 2 high-memory systems, but it still needs careful runtime and memory planning. Use an R1 distill instead when you need DeepSeek-style reasoning on a laptop or 1 consumer GPU. The full R1 and V3 models remain 671B-class, multi-GPU options. For the complete 0731 hardware comparison and serving paths, see DeepSeek V4 Flash 0731 local hardware.

​
DeepSeek 系列模型概览

活跃参数数量会影响每个生成令牌所需的计算量，但并不会减少维持所有专家模块运行所需的内存。正因如此，即便是处于 13B 活跃状态的 V4 Flash 版本，在扣除缓存与运行时开销后仍需约 162 至 167 GB 的内存来存放权重数据

​
究竟该运行哪款 DeepSeek 模型呢？

  • You have a laptop or 1 consumer GPU: Start with an R1 distill. deepseek-r1:14b is a practical Ollama starting point on a 24 GB GPU. See DeepSeek-R1.
  • 若您需要原版 R1 推理模型： 则需准备配置完善的多 GPU 服务器才行。完整版 671b 模型绝非单台工作站能够承载
  • 若您需要通用的 DeepSeek 基础模型： V3 系列仍属于 671B 级别的多 GPU 模型。请根据实际部署需求在 Ollama 中选择对应的 V3.1 标签；正式确定前也请核实当前可用的标签版本
  • 若您需要当前版本的 V4 Flash 模型： 请选用 deepseek-ai/DeepSeek-V4-Flash-0731。虽然具备自托管的可能性，但仅有硬件条件仍不足以保证顺利运行。具体实施方案可参考 本地硬件指南 中针对不同运行环境的说明

​
DeepSeek-V4-Flash-0731

DeepSeek released DeepSeek-V4-Flash-0731 on July 31, 2026. The official model card identifies it as the official V4 Flash release that supersedes the preview. It describes a 284B-target-model, 13B-active mixture-of-experts model with a bundled DSpark head, 1M-token context, low, high, and max reasoning effort, and tool calling. SGLang reports about 304B parameters when it counts the attached draft head. The weights are MIT-licensed.

​
为何 0731 是当前最具参考价值的发布版本

DeepSeek’s own agentic evaluation shows a large step up from the preview. The model card reports 82.7 on Terminal Bench 2.1, 54.4 on DeepSWE, and 70.3 on Toolathlon-Verified. Those results used DeepSeek Harness in minimal mode, max reasoning effort, temperature = 1.0, and top_p = 0.95. Treat them as evidence for the exact evaluated setup, not guaranteed local throughput or quality.
若需对当前正式版本开展评估，切勿部署预览版代码库 deepseek-ai/DeepSeek-V4-Flash。务必固定使用 deepseek-ai/DeepSeek-V4-Flash-0731 版本并妥善记录其修订编号。
该 0731 代码库并未提供 Jinja 格式对话模板。不过其中含有专门的 encoding 程序包，可协助将兼容 OpenAI 协议的消息格式转化为模型可识别的输入内容并解析输出结果。建议选用支持该编码方式的运行环境配置，在正式对外提供部署服务前务必测试多轮对话功能、推理逻辑准确性以及工具调用效果。
请审慎选用以下标识符：
Tokios 部署名称即您对外公布的标识，该名称与上游模型 ID 相互独立。一旦注册 deepseek-v4-flash 名称，客户端便会在 model 字段中填入该名称，而您的运行环境则负责调用对应的 deepseek-ai/DeepSeek-V4-Flash-0731 模型资源。

​
Flash 模型与 GPT-5.6 模型的性能差距究竟有多大呢？

Treat comparisons as configuration-specific, not a general parity claim. Artificial Analysis reports Flash Max at 50 and GPT-5.6 Sol Low at 49 in its named comparison. That result compares Flash Max with Sol at its Low effort setting. It does not establish parity with GPT-5.6 Sol at higher effort, or across every workload.

​
V4 Flash 的本地路径

每条路径都需要预留足够的磁盘空间来存储检查点、临时下载文件以及运行时所需资源，同时还需预留一定的 KV 缓存空间。建议从 32K 至 128K 的上下文范围开始配置。请将 384K 与 1M 视作独立的调优目标，而非默认设置。
若您已在运行 V4 Flash，请保持服务端点位于主节点的本地回环接口上。随后在该主节点上运行 1 Tokios 连接器，并将其指向运行时的 /v1 端点即可。有关拓扑结构及部署方式，可参阅 硬件指南。

​
量化规格决定了所需机器的数量。

Unsloth 在 unsloth/DeepSeek-V4-Flash-0731-GGUF 处发布了 GGUF 格式的模型包。此类规格参数尤为重要，因为它们直接决定了单台设备是否足以承载运行需求。

​
DGX Spark能否运行DeepSeek-V4-Flash-0731呢？

Yes at 3-bit, on a single unit. Unsloth’s guide picks UD-IQ3_XXS precisely because it fits a 128 GB machine, and reports on NVIDIA’s developer forum run it on one Spark through llama-server, including at 262K context with smaller 2-bit builds. 单台设备无法容纳的则是那些近乎无损压缩的版本：UD-Q4_K_XL GB大小的155版本以及UD-Q8_K_XL GB大小的162版本，二者容量均超出了128 GB上限。此类模型需要两台设备配合，并借助前述表格中提及的内存共享机制。

​
Strix Halo能否运行DeepSeek-V4-Flash-0731模型呢？

可以，同样需满足3位精度的条件。内存为128 GB的Strix Halo可承载103 GB大小的模型；若需近乎无损压缩版本则需额外设备。此时需通过llama.cpp RPC实现分布式运行，不过官方仅将其视作概念验证方案。 此处吞吐量受限于内存带宽而非容量。模型活跃的参数量仅为13B，这一特性对运算有利：即便所有284B个参数均需常驻内存，单条令牌的计算开销依然较低。

​
内存仅达24 GB的显卡能否运行DeepSeek-V4-Flash-0731模型呢？

不可行。目前公开的最小版本体积也需92 GB空间，因此任何消费级显卡都无法承载该模型，无论采用何种量化方式。若强行将模型载入系统内存则会丧失Flash版本应有的运行速度优势。建议改用专为单显卡设计的 DeepSeek-R1蒸馏版。

​
R1与V3系列模型

V4 Flash does not replace every earlier DeepSeek option. The R1 distills remain the practical choice for small hardware. The full R1 and V3 line remain useful when you already operate a 671B-class serving cluster. 关于蒸馏模型的尺寸、上下文长度以及部署建议，请参阅 DeepSeek-R1。若想了解大型模型所需内存的计算方法，可查阅 何种尺寸的模型适合您的显卡？。

​
将 DeepSeek 的部署实例与 Tokios 相连

待所选运行环境运行正常后，请在与运行端点相同的机器上安装连接器。该连接器仅向 Tokios 发起连接请求，不会开放任何入站端口。
  1. Pair the connector from the Setup tab in the Tokios dashboard.
  2. Register a deployment in Models. For example, register deepseek-v4-flash and map it to the upstream model id your server exposes.
  3. Create a scoped sk-tok-… API key in Keys.
  4. 调用 https://api.tokios.com/v1 时，请在 model 中填入对应的部署名称即可。
针对 V4 Flash 集群，仅需在主节点上运行连接器，该节点可顺利连接至集群内兼容 OpenAI 协议的 /v1 端点。请先参照 本地硬件配置指南 了解相关部署示例，随后再执行 部署注册操作。

​
常见问题

Between roughly 110 GB and 169 GB, depending on which build you pull. The 3-bit UD-IQ3_XXS is 103 GB on disk and wants 110 to 135 GB of memory, which is why it fits a single 128 GB unified-memory machine. The near-lossless UD-Q4_K_XL is 155 GB and the lossless UD-Q8_K_XL is 162 GB, both of which need more than one such machine. All 284B parameters stay resident regardless of the 13B active count.
这些模型权重遵循 MIT 许可证发布，对于具备如此强大能力的模型而言这种许可条款极为宽松，甚至允许商业用途。不过“可免费使用”并不等同于“可零成本运行”：即便是体积最小的版本，也需要占用 92 GB 的存储空间，硬件成本才是真正的开销。倘若您不愿自行部署，DeepSeek 也提供了付费的托管式 API 服务。
按照官方说明的操作路径无法实现。Unsloth 提供的指南指出需借助 llama.cpp 工具并配合拆分后的 GGUF 文件来加载 0731 版本的模型，而当前主流版本的 llama.cpp 则支持 V4 架构。建议您直接查阅 Ollama 的模型库以确认当前可使用的版本，切勿想当然地认为本地已存在对应标签。目前 R1 distills 以及 DeepSeek-V3.1 版本均拥有对应的 Ollama 标签，详情可参见 DeepSeek-R1。
主要体现在规模与适用场景方面。V4 Flash 是当前推出的 284B 混合专家型模型，具备 1M 个令牌的上下文容量，专为 128 GB 及以上配置的机器上运行智能代理任务及编程工作而设计。而 R1 distills 系列属于小型密集型模型，仅需单张消费级 GPU 即可运行，虽然性能有所折损但适用范围更广。若您的硬件仅配备一张 24 GB 显存的显卡，那么选择 distills 版本并非折中方案——它其实是二者中唯一能顺利运行的选项。
Serve it locally, then pair the Tokios connector on the machine holding the runtime — for a cluster, on the head node only. The connector dials outward, so the box with the GPUs never needs an inbound port. Clients then call https://api.tokios.com/v1 with an sk-tok-… key and your deployment name in the model field.

V4 Flash 版本所需的本地硬件配置

此处对 2 RTX PRO 6000 系列显卡、2 DGX Spark 服务器以及 2 Strix Halo 系统进行了性能对比分析。

DeepSeek-R1

您可依据自身硬件条件挑选并运行适配的 R1 推理型 distills 模型。

依据具体任务需求挑选合适的模型

对比适用于推理、编程以及智能体任务的本地模型。

挑选与您的显卡相匹配的模型。

了解模型权重、缓存以及量化处理所需的存储空间。