跳转到主要内容
单个 DGX Spark 可处理所有能容纳在其 128 GB 统一内存池中的模型。而通过 200 千兆比特/秒 QSFP 链路相连的两个 Spark 则能运行那些无法被单个 1 节点承载的分布式模型。不过额外的网络传输环节也会带来协调开销，因此请务必在实际运行环境中测试吞吐量与延迟，切勿直接假定性能提升幅度为 2 倍。

​
简要结论

​
在何种情况下使用一个 1 Spark 实例便已足够呢？

当满足以下条件时，仅配置一个容量为 128 GB 的 DGX Spark 实例便是最佳选择：
  • 您的模型能在合理的量化精度下容纳。 密集型模型最大至 70B（NVFP4 量化后约 35 GB）或 MoE 模型最大至 120B（NVFP4 量化后约 60 GB）均可在单节点上加载，并留有 KV 缓存空间。
  • 您需要同时服务 1 至 5 名并发用户。 单 Spark 实例即可满足小型团队在 35B 规模混合专家模型下的推理需求；而对于密集型模型，建议最多仅服务 70B 名用户，且上限为 5 至 10 人。
  • 相较于模型体积，延迟表现更为关键。 单 Spark 实例可避免张量并行机制带来的节点间通信开销。对于容量为 35B 的混合专家模型而言，单节点推理可达成 47 至 50 令牌/秒的处理速度，这一速率足以支撑实时编码助手与聊天应用的需求。
  • 运维尽量简单。 1 台机器、1 个运行时、1 个故障点。无需网络配置、无需分布式启动、无需调试 NCCL。
请查阅 DGX Spark 模型兼容性对照表 以获取可兼容模型的完整列表。

​
在何种情况下需要配置多个 2 Sparks 实例呢？

当满足以下任一条件时，便需添加第二个 Spark 实例：
  • 量化后的模型超过 128 GB 但在扣除运行时和 KV 缓存预留空间后仍能舒适地容纳在 256 GB 以内。 DeepSeek-V4-Flash-0731 就是一个例子，其已发布的权重下限为 162–167 GB。
  • 您需要在已通过分布式部署验证的模型上进一步提升 KV 缓存容量或并发处理能力。 虽然张量并行机制有助于分散内存压力，但无法确保处理效率呈线性提升。
  • 您已做好对网络运行时环境进行基准测试的准备。 通信开销与模型架构共同决定了测试结果。
一个 405B 密集型模型在 FP8 精度下仅权重就需要约 405 GB。它无法装入 2 台 Spark 的 256 GB 总内存。有关经过测试的 2-Spark DeepSeek 路由和上下文指导，请参阅 DeepSeek V4 Flash 本地硬件。
两台 DGX Sparks 设备可通过 200 Gb/s QSFP 线缆直接相连，无需借助交换机。NVIDIA 官方也专门发布了针对此配置的“双 Spark 设备互联操作指南”。
1

连接 QSFP 线缆

将 200 Gb/s 速率的 QSFP 线缆分别接入两台 DGX Spark 设备的 QSFP 接口即可。该链路属于点对点直连模式，不会经过任何网络交换机。
2

验证链路状态

在两台 Spark 设备上，均需确认该链路已成功建立且能以全速运行：
查找显示 UP 状态的 QSFP 接口，并确认其实际运行速率：
此时您应能看到 200000Mb/s 这一数值，即代表当前链路速率达到了 200 Gb/s。
3

配置 IP 地址

需在 QSFP 链路对应的子网内为设备分配静态 IP 地址。以 Spark A 设备为例：
在 Spark B 上：
测试连通性：
4

设置 NCCL 环境变量

NCCL（NVIDIA 集合通信库）负责节点间的 GPU 通信。启动 vLLM 之前，需在两台 Spark 上均设置这些变量：
这些变量可指示 NCCL 选用 QSFP 链路进行通信，并启用 GPU Direct RDMA 以实现最低延迟。

​
跨 2 台 Spark 的张量并行

vLLM 支持分布式张量并行机制：每台 Spark 仅存储部分模型权重，推理时通过 QSFP 链路实现各节点间的数据交互。

​
启动分布式模型

在 Spark A（主节点）上以分布式模式启动 vLLM：
vLLM 借助 Ray 协调两台 Spark 的运行。Spark A 加载模型权重的一半，Spark B 加载另一半，二者通过 QSFP 链路上的 NCCL 实现同步。
对于两台 Spark 而言，张量并行是最合适的并行策略。 流水线并行机制（按层顺序拆分计算任务）会产生流水线气泡现象，导致小型集群的计算资源被浪费。而张量并行能将单层计算任务拆分至两台 GPU 上执行，从而提升 2 节点配置下的资源利用率。

​
适用于 2 台 Spark 的模型示例

​
流水线并行机制（何时采用）

流水线并行机制会将不同网络层分配给各个 Spark。该配置方式较为简便，但在 2 个节点环境下效率较低，因为当首个 Spark 处理某个令牌的前几层时，其余 Spark 均处于闲置状态。 仅在以下情形才应采用流水线并行机制：
  • 当前模型架构不支持张量并行机制。
  • 需要串联超过 2 个 Spark 节点，且希望降低各节点间的通信开销。

​
各 Spark 节点间的网络配置要求

该 QSFP 连接器专为这种配置而设计，不过网络路径同样会影响整体性能表现：
切勿在两个 Spark 节点间使用标准以太网连接器进行张量并行计算。 哪怕使用 10 千兆以太网连接器或 100 千兆以太网连接器，都会引入额外延迟，进而拖慢解码流程。唯有速率达 200 千兆每秒的 QSFP 直连链路才属于经过验证且受支持的配置。

​
成本效益分析

​
何时第二个 Spark 单元能带来实际收益

  • 您必须选用经过性能评估且具备合理权重与 KV 缓存方案的分布式模型。 例如，DeepSeek-V4-Flash-0731 模型需要 2 个节点，该配置也经过社区验证。
  • 当您为团队提供模型服务时，该模型的分布式运行方式能显著提升吞吐量或并发能力，从而证明增设第二个 Spark 单元的必要性。
  • 若需运行对延迟敏感的任务，可选用 120B 系列模型。 两个 Spark 单元提供的额外 KV 缓存空间可支持更长的上下文长度或承载更多用户请求，避免内存瓶颈。

​
不适用的情况

  • 若您的模型规模 ≤70B 且团队规模较小。 单个 Spark 单元在 47 至 50 令牌/秒的处理速度下，对 35B 类型的 MoE 模型而言已远超普通用户的输入速度。此时增加第二个 Spark 单元只会徒增成本与复杂度，却无法带来任何可见的性能提升。
  • 您可直接运行那些适配性良好的 MoE 模型。 GLM-4.5-Air、Qwen3.5-122B以及 Nemotron-3-Super-120B均能在单台搭载 NVFP4技术的 Spark 设备上顺利运行。若将这些模型分散至两台设备上运行，则会产生通信开销，甚至可能抵消并行计算带来的性能提升。

​
配置一个 2-Spark 集群

1

连接并检测 QSFP 链路

请依照上文所述的 200Gb/s 链路配置 步骤操作。随后确认两台 Spark 设备间的 200Gb/s 链路速率以及双向连通性。
2

在两台 Spark 设备上安装 vLLM

两台设备上的 vLLM 安装配置必须完全一致。请分别参照 DGX Spark 平台上的 vLLM 安装指南 进行操作。
3

在两台 Spark 设备上安装 Ray

vLLM 借助 Ray 来实现分布式任务协调：
在 Spark A 设备上启动 Ray 主节点：
将 Spark B 设备接入该 Ray 集群：
确认两台设备均已成功加入集群：
4

在两台 Spark 设备上设置 NCCL 环境变量

5

在 Spark A 上以分布式模式启动 vLLM。

vLLM 会自动将模型分片分配到两台 Spark 节点上。
6

验证分布式服务是否正常运行。

从任意一台 Spark 节点上测试对应的端点。

​
通过 Tokios 同时为两台 Spark 节点提供服务。

您可以将多台 Spark 节点整合至同一个 Tokios 端点之下。只需在每台 Spark 上安装连接器，将各节点分别注册为独立部署项，再利用 模型路由 功能来分配流量即可。 在由 2 台 Spark 节点构成的张量并行配置中，若 vLLM 运行于 Spark A 并负责与 Spark B 进行内部协调，则只需在 Spark A 上安装连接器即可；此时 vLLM 的 /v1 端点即代表整个集群。
在 Tokios 控制台中登记该分布式部署项后，客户端便可通过 https://api.tokios.com 端点访问两台 Spark 节点，而无需知晓底层网络结构。

DGX Spark 环境下的 vLLM 部署。

单节点环境下 vLLM 的安装与启动指令。

模型兼容性说明。

请确认哪些模型适合部署在 1 型 Spark 节点上，哪些适合 2 型节点。

内存调优

针对两种配置的 KV 缓存计算与调优参数

DGX Spark 的应用场景

DGX Spark 环境下 Tokios 连接器的完整部署流程