> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# DeepSeek V4.1 Flash 在 2 台 DGX Spark 上运行

> DeepSeek V4.1 Flash（763B MoE）在 2 台 NVIDIA DGX Spark 上通过张量并行运行的分步指南。社区基准测试显示单流速度为 38-73 tok/s，聚合速度最高可达 270 tok/s。

DeepSeek V4.1 Flash 是一个 763B 参数的混合专家模型，原生支持视觉、1M token 上下文，并采用 MIT 许可证。在 2 台通过 ConnectX-7 集群链路连接的 NVIDIA DGX Spark 上，您可以获得 38-73 tok/s 的单流解码速度——或最高 270 tok/s 的聚合速度（16 个并发用户）。

该模型无法以全精度装入 256 GB 的聚合统一内存。使用混合精度服务时可以装入：密集层使用 FP8，专家权重使用 MXFP4。本指南将引导您完成整个设置过程。

最后验证时间：2026-10-24

## 您将获得的配置

* **模型：** DeepSeek V4.1 Flash（总计 763B，每个 token 激活 8B/16B）
* **硬件：** 2 台 NVIDIA DGX Spark（256 GB 聚合统一内存）
* **吞吐量：** 单流 38-73 tok/s，最高 270 tok/s（16 个并发用户）
* **上下文：** 已验证 1M token
* **内存使用：** 每节点约 79-105 GiB 用于权重
* **适用场景：** 大规模推理、视觉任务、长上下文分析、多用户服务

## 前提条件

* 2 台已安装 DGX OS 的 NVIDIA DGX Spark
* Spark 之间的 ConnectX-7 集群链路（RoCE 网络）
* 用于下载模型权重的网络连接（总计约 400 GiB）
* Tokios 账户（免费套餐即可）
* 45 分钟

## 第 1 步：验证集群链路

在下载模型之前，验证 2 台 Spark 之间的 RoCE 集群链路是否正常工作：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
# On Spark 1
ibstat

# Expected: Port active, LinkUp, rate 200 Gb/s
```

测试 RDMA 带宽：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
# On Spark 1 (server)
ib_write_bw -d mlx5_0

# On Spark 2 (client)
ib_write_bw -d mlx5_0 <spark1-ip>
```

预期结果：约 183-185 Gb/s 的有效吞吐量。如果您看到的数值明显偏低，请先排查集群链路问题再继续。

## 第 2 步：下载模型

NVFP4 变体将专家权重存储为 NVFP4（W4A4），Engram 查找表存储为 MXFP4（E2M1），并为注意力层、共享专家、视觉和 MTP/DSpark 层保留原始精度。

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
# On both Sparks
huggingface-cli download nvidia/DeepSeek-V4.1-Flash-NVFP4
```

下载总量约 400 GiB。在 DGX Spark 的 273 GB/s 内存带宽下，大约需要 25 分钟。

> [!NOTE]
>
> 该模型无法以全 FP8 精度装入 256 GB 内存。必须使用 NVFP4+MXFP4 混合精度布局。社区团队已独立验证此配置可行。

## 第 3 步：使用 vLLM 服务模型（TP=2）

需要 vLLM v0.31.0 或更高版本。使用跨 2 个节点的分布式张量并行启动服务器：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
# On Spark 1 (head node)
vllm serve nvidia/DeepSeek-V4.1-Flash-NVFP4 \
  --tensor-parallel-size 2 \
  --kv-cache-dtype fp8_ds_mla \
  --host 127.0.0.1 \
  --port 8000 \
  --max-model-len 131072 \
  --distributed-executor-backend ray \
  --ray-address auto
```

在 Spark 2 上启动 Ray worker：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
# On Spark 2
ray start --address='<spark1-ip>:6379'
```

服务器约 2-3 分钟内启动完成。您将看到：

```
INFO:     Started server process [12345]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8000
```

测试端点：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/DeepSeek-V4.1-Flash-NVFP4",
    "messages": [{"role": "user", "content": "Explain quantum computing in 3 sentences"}],
    "max_tokens": 200
  }'
```

## 第 4 步：基准性能测试

### 单流解码

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
python -m vllm.entrypoints.benchmark_serving \
  --backend vllm \
  --model nvidia/DeepSeek-V4.1-Flash-NVFP4 \
  --dataset-name sonnet \
  --dataset-path sonnet.txt \
  --num-prompts 10 \
  --request-rate 1
```

预期结果：

| 指标 | 数值 |
| - | - |
| 吞吐量（1 个用户） | 38-73 tok/s |
| 首 token 时间（64K 上下文） | 约 31 秒 |
| 首 token 时间（8K 上下文） | 约 5 秒 |
| 每节点内存使用 | 约 79-105 GiB 权重 + 约 15 GiB KV 缓存 |

较宽的数值范围（38 与 73 tok/s）反映了不同的服务引擎和量化策略。vLLM 使用 FP8+MXFP4 可获得约 38-41 tok/s。TensorFold 使用 EXL3 量化可获得约 73 tok/s。

### 多用户聚合吞吐量

| 并发数 | tok/s（聚合） |
| - | - |
| 2 个用户 | 104-110 |
| 4 个用户 | 135-169 |
| 6 个用户 | 219-256 |
| 16 个用户 | 135-270 |

该模型在并发场景下扩展性良好，因为每个 token 仅激活 8B/16B 参数。在高并发下，瓶颈从计算转移到 Spark 间互联。

## 第 5 步：通过 Tokios 连接

您的模型正在 Spark 1 上的 `127.0.0.1:8000` 运行。要为团队提供远程访问，请在 Spark 1 上安装 Tokios connector。

### 安装 connector

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX
```

### 认领 connector

在 [dashboard](https://tokios.com/console) 中，**approve** 该设备。配置 connector 指向 vLLM：

```json theme={"theme":{"light":"github-light","dark":"css-variables"}}
{
  "upstream": "http://127.0.0.1:8000/v1"
}
```

### 注册 deployment

在 **Models** 选项卡中：

* **Upstream model id：** `nvidia/DeepSeek-V4.1-Flash-NVFP4`
* **Deployment name：** `deepseek-v41-flash`

### 创建 API key

在 **Keys** 选项卡中，为每位团队成员创建一个 key。将每个 key 的作用域限定为 `deepseek-v41-flash` deployment。

## 第 6 步：从任意客户端使用

您的团队现在可以从任何地方调用这个 763B 模型：

```python OpenAI SDK theme={"theme":{"light":"github-light","dark":"css-variables"}}
from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="deepseek-v41-flash",
    messages=[{"role": "user", "content": "Explain quantum computing"}],
    max_tokens=500,
)
print(response.choices[0].message.content)
```

```bash curl theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v41-flash",
    "messages": [{"role": "user", "content": "Explain quantum computing"}],
    "max_tokens": 500
  }'
```

## 内存计算

每台 DGX Spark 拥有 128 GB LPDDR5x 统一内存。两台 Spark 提供 256 GB 聚合内存。

| 组件 | 每节点（2 节点 TP=2） |
| - | - |
| 模型权重 | 约 79-105 GiB |
| KV 缓存 | 约 15 GiB |
| 系统和运行时开销 | 约 8-12 GB |
| 可用余量 | 约 10-40 GB |

NVFP4 的精度保持能力很强。NVIDIA 发布的基准比较显示不到 1% 的偏差（与 MXFP4 源精度相比）：GPQA Diamond（91.0 → 90.8）、SciCode（54.4 → 54.0）和 Terminal-Bench 2.1（81.6 → 81.9）。

## 故障排除

### vLLM 启动失败并提示"CUDA out of memory"

将 `--max-model-len` 从 131072 降低到 65536 或 32768。KV 缓存随上下文长度线性增长，在 1M 上下文时内存压力显著。

### Spark 间带宽缓慢（\<150 Gb/s）

检查 RoCE 集群链路。验证 ConnectX-7 驱动是否为最新版本、线缆是否正确插入以及流控是否已启用。预期值：约 183-185 Gb/s。

### Ray worker 连接失败

确保 Ray 端口（6379）可从 Spark 2 访问 Spark 1。检查两台 Spark 上的防火墙规则。您可能需要开放该端口：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
sudo ufw allow 6379/tcp
```

### 首 token 时间过长（>30 秒，8K 上下文）

这对于 763B 模型是正常的。对 prompt 的预填充过程是计算密集型的。在 8K 上下文下，TTFT 应约为 5 秒。在 64K 上下文下约为 31 秒。在 512K 上下文下约为 334 秒。Spark 间互联是长 prompt 的瓶颈。

## 后续步骤

* [DGX Spark 模型兼容性](https://docs.tokios.com/zh/guides/dgx-spark-model-compatibility.md) — 还有哪些模型可以在 1 台或 2 台 Spark 上运行
* [单个与两个 DGX Spark](https://docs.tokios.com/zh/guides/one-vs-two-dgx-sparks.md) — 何时需要扩容
* [团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md) — 为团队提供 API 访问
* [DeepSeek V4 Flash 本地硬件](https://docs.tokios.com/zh/blog/deepseek-v4-flash-local-hardware.md) — 跨硬件层级的对比


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.