DeepSeek V4.1 Flash 在 2 台 DGX Spark 上运行

DeepSeek V4.1 Flash 是一个 763B 参数的混合专家模型，原生支持视觉、1M token 上下文，并采用 MIT 许可证。在 2 台通过 ConnectX-7 集群链路连接的 NVIDIA DGX Spark 上，您可以获得 38-73 tok/s 的单流解码速度——或最高 270 tok/s 的聚合速度（16 个并发用户）。该模型无法以全精度装入 256 GB 的聚合统一内存。使用混合精度服务时可以装入：密集层使用 FP8，专家权重使用 MXFP4。本指南将引导您完成整个设置过程。最后验证时间：2026-10-24

您将获得的配置

模型： DeepSeek V4.1 Flash（总计 763B，每个 token 激活 8B/16B）
硬件： 2 台 NVIDIA DGX Spark（256 GB 聚合统一内存）
吞吐量： 单流 38-73 tok/s，最高 270 tok/s（16 个并发用户）
上下文： 已验证 1M token
内存使用： 每节点约 79-105 GiB 用于权重
适用场景： 大规模推理、视觉任务、长上下文分析、多用户服务

前提条件

2 台已安装 DGX OS 的 NVIDIA DGX Spark
Spark 之间的 ConnectX-7 集群链路（RoCE 网络）
用于下载模型权重的网络连接（总计约 400 GiB）
Tokios 账户（免费套餐即可）
45 分钟

第 1 步：验证集群链路

在下载模型之前，验证 2 台 Spark 之间的 RoCE 集群链路是否正常工作：

# On Spark 1
ibstat

# Expected: Port active, LinkUp, rate 200 Gb/s

测试 RDMA 带宽：

# On Spark 1 (server)
ib_write_bw -d mlx5_0

# On Spark 2 (client)
ib_write_bw -d mlx5_0 &lt;spark1-ip&gt;

预期结果：约 183-185 Gb/s 的有效吞吐量。如果您看到的数值明显偏低，请先排查集群链路问题再继续。

第 2 步：下载模型

NVFP4 变体将专家权重存储为 NVFP4（W4A4），Engram 查找表存储为 MXFP4（E2M1），并为注意力层、共享专家、视觉和 MTP/DSpark 层保留原始精度。

# On both Sparks
huggingface-cli download nvidia/DeepSeek-V4.1-Flash-NVFP4

下载总量约 400 GiB。在 DGX Spark 的 273 GB/s 内存带宽下，大约需要 25 分钟。

该模型无法以全 FP8 精度装入 256 GB 内存。必须使用 NVFP4+MXFP4 混合精度布局。社区团队已独立验证此配置可行。

第 3 步：使用 vLLM 服务模型（TP=2）

需要 vLLM v0.31.0 或更高版本。使用跨 2 个节点的分布式张量并行启动服务器：

# On Spark 1 (head node)
vllm serve nvidia/DeepSeek-V4.1-Flash-NVFP4 \
  --tensor-parallel-size 2 \
  --kv-cache-dtype fp8_ds_mla \
  --host 127.0.0.1 \
  --port 8000 \
  --max-model-len 131072 \
  --distributed-executor-backend ray \
  --ray-address auto

在 Spark 2 上启动 Ray worker：

# On Spark 2
ray start --address='&lt;spark1-ip&gt;:6379'

服务器约 2-3 分钟内启动完成。您将看到：

INFO:     Started server process [12345]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8000

测试端点：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/DeepSeek-V4.1-Flash-NVFP4",
    "messages": [{"role": "user", "content": "Explain quantum computing in 3 sentences"}],
    "max_tokens": 200
  }'

第 4 步：基准性能测试

单流解码

python -m vllm.entrypoints.benchmark_serving \
  --backend vllm \
  --model nvidia/DeepSeek-V4.1-Flash-NVFP4 \
  --dataset-name sonnet \
  --dataset-path sonnet.txt \
  --num-prompts 10 \
  --request-rate 1

预期结果：

指标	数值
吞吐量（1 个用户）	38-73 tok/s
首 token 时间（64K 上下文）	约 31 秒
首 token 时间（8K 上下文）	约 5 秒
每节点内存使用	约 79-105 GiB 权重 + 约 15 GiB KV 缓存

较宽的数值范围（38 与 73 tok/s）反映了不同的服务引擎和量化策略。vLLM 使用 FP8+MXFP4 可获得约 38-41 tok/s。TensorFold 使用 EXL3 量化可获得约 73 tok/s。

多用户聚合吞吐量

并发数	tok/s（聚合）
2 个用户	104-110
4 个用户	135-169
6 个用户	219-256
16 个用户	135-270

该模型在并发场景下扩展性良好，因为每个 token 仅激活 8B/16B 参数。在高并发下，瓶颈从计算转移到 Spark 间互联。

第 5 步：通过 Tokios 连接

您的模型正在 Spark 1 上的 127.0.0.1:8000 运行。要为团队提供远程访问，请在 Spark 1 上安装 Tokios connector。

安装 connector

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

认领 connector

在 dashboard 中，approve 该设备。配置 connector 指向 vLLM：

{
  "upstream": "http://127.0.0.1:8000/v1"
}

注册 deployment

在 Models 选项卡中：

Upstream model id： nvidia/DeepSeek-V4.1-Flash-NVFP4
Deployment name： deepseek-v41-flash

创建 API key

在 Keys 选项卡中，为每位团队成员创建一个 key。将每个 key 的作用域限定为 deepseek-v41-flash deployment。

第 6 步：从任意客户端使用

您的团队现在可以从任何地方调用这个 763B 模型：

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="deepseek-v41-flash",
    messages=[{"role": "user", "content": "Explain quantum computing"}],
    max_tokens=500,
)
print(response.choices[0].message.content)

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v41-flash",
    "messages": [{"role": "user", "content": "Explain quantum computing"}],
    "max_tokens": 500
  }'

内存计算

每台 DGX Spark 拥有 128 GB LPDDR5x 统一内存。两台 Spark 提供 256 GB 聚合内存。

组件	每节点（2 节点 TP=2）
模型权重	约 79-105 GiB
KV 缓存	约 15 GiB
系统和运行时开销	约 8-12 GB
可用余量	约 10-40 GB

NVFP4 的精度保持能力很强。NVIDIA 发布的基准比较显示不到 1% 的偏差（与 MXFP4 源精度相比）：GPQA Diamond（91.0 → 90.8）、SciCode（54.4 → 54.0）和 Terminal-Bench 2.1（81.6 → 81.9）。

故障排除

vLLM 启动失败并提示”CUDA out of memory”

将 --max-model-len 从 131072 降低到 65536 或 32768。KV 缓存随上下文长度线性增长，在 1M 上下文时内存压力显著。

Spark 间带宽缓慢（<150 Gb/s）

检查 RoCE 集群链路。验证 ConnectX-7 驱动是否为最新版本、线缆是否正确插入以及流控是否已启用。预期值：约 183-185 Gb/s。

Ray worker 连接失败

确保 Ray 端口（6379）可从 Spark 2 访问 Spark 1。检查两台 Spark 上的防火墙规则。您可能需要开放该端口：

sudo ufw allow 6379/tcp

首 token 时间过长（>30 秒，8K 上下文）

这对于 763B 模型是正常的。对 prompt 的预填充过程是计算密集型的。在 8K 上下文下，TTFT 应约为 5 秒。在 64K 上下文下约为 31 秒。在 512K 上下文下约为 334 秒。Spark 间互联是长 prompt 的瓶颈。

后续步骤

DGX Spark 模型兼容性 — 还有哪些模型可以在 1 台或 2 台 Spark 上运行
单个与两个 DGX Spark — 何时需要扩容
团队访问本地模型 — 为团队提供 API 访问
DeepSeek V4 Flash 本地硬件 — 跨硬件层级的对比

本地 LLM 入门

硬件与适配

服务与连接运行时

连接客户端或应用

对比

DeepSeek V4.1 Flash 在 2 台 DGX Spark 上运行

您将获得的配置

前提条件

第 1 步：验证集群链路

第 2 步：下载模型

第 3 步：使用 vLLM 服务模型（TP=2）

第 4 步：基准性能测试

单流解码

多用户聚合吞吐量

第 5 步：通过 Tokios 连接

安装 connector

认领 connector

注册 deployment

创建 API key

第 6 步：从任意客户端使用

内存计算

故障排除

vLLM 启动失败并提示”CUDA out of memory”

Spark 间带宽缓慢（<150 Gb/s）

Ray worker 连接失败

首 token 时间过长（>30 秒，8K 上下文）

后续步骤

​您将获得的配置

​前提条件

​第 1 步：验证集群链路

​第 2 步：下载模型

​第 3 步：使用 vLLM 服务模型（TP=2）

​第 4 步：基准性能测试

​单流解码

​多用户聚合吞吐量

​第 5 步：通过 Tokios 连接

​安装 connector

​认领 connector

​注册 deployment

​创建 API key

​第 6 步：从任意客户端使用

​内存计算

​故障排除

​vLLM 启动失败并提示”CUDA out of memory”

​Spark 间带宽缓慢（<150 Gb/s）

​Ray worker 连接失败

​首 token 时间过长（>30 秒，8K 上下文）

​后续步骤

您将获得的配置

前提条件

第 1 步：验证集群链路

第 2 步：下载模型

第 3 步：使用 vLLM 服务模型（TP=2）

第 4 步：基准性能测试

单流解码

多用户聚合吞吐量

第 5 步：通过 Tokios 连接

安装 connector

认领 connector

注册 deployment

创建 API key

第 6 步：从任意客户端使用

内存计算

故障排除

vLLM 启动失败并提示”CUDA out of memory”

Spark 间带宽缓慢（<150 Gb/s）

Ray worker 连接失败

首 token 时间过长（>30 秒，8K 上下文）

后续步骤