在 NVIDIA DGX Spark 上安装并配置 vLLM

vLLM 配合 NVFP4 量化技术是 DGX Spark 平台上性能最佳的通用服务部署方案。它可为您提供兼容 OpenAI 的 /v1 端点、原生 SM121 支持，以及社区报告的实际吞吐量数据——47-50 tok/s（Qwen3.5-35B-A3B 模型），15-20 tok/s（70B 密集型模型），以及约 30 tok/s（120B MoE 模型）。本页面将引导您完成安装、首次启动以及关键参数配置。

Alternative engines. Some community members report better results with SGLang on specific model configurations, and the Atlas engine claims 2.8x over stock vLLM for Qwen3.6-35B-A3B. This page covers stock vLLM because it has the broadest model support and the most documented configuration surface.

前置条件

开始操作前，请确认您的 DGX Spark 满足以下要求：

操作系统： DGX OS（基于 Ubuntu 的 Linux aarch64 系统）
CUDA: 13.0 or later — CUDA 12 libraries fail on SM121
Python： 3.10 或更高版本（用于执行 pip 安装操作），亦可使用支持 ARM64 架构的 Docker 环境
内存： 128 GB 统一内存（所有 DGX Spark / GB10 设备均默认配置此项）

请先验证您的 CUDA 版本是否符合要求：

nvcc --version

确认 GPU 能够被识别：

nvidia-smi

此时您应当能看到型号为 GB10 Blackwell 的 GPU，其显存容量显示为 128 GB。

DGX Spark 仅支持 CUDA 13.0。SM121 架构不支持 CUDA 12 库。如果 nvcc --version 显示为 CUDA 12.x，请在继续操作前更新 DGX OS 软件包。

安装 vLLM

通过 pip 工具安装 vLLM

在 DGX 操作系统中最简单的安装方式便是直接执行 pip 安装指令。vLLM 提供了适用于 Grace CPU 架构的 ARM64 版本安装包。

pip install vllm

若您需要获取包含最新 NVFP4 或 SM121 相关修复补丁的夜间测试版：

pip install --pre vllm --extra-index-url https://wheels.vllm.ai/nightly

或者下载对应的 Docker 镜像

若您倾向于采用容器化方式完成部署，可下载兼容 ARM64 架构的镜像文件：

docker pull vllm/vllm-openai:latest

启动程序并启用 GPU 加速功能：

docker run --gpus all -it --rm -p 8000:8000 vllm/vllm-openai:latest

确认安装是否成功

验证 vLLM 程序能否正常启动并成功识别到 GPU 硬件。

python -c "import vllm; print(vllm.__version__)"

如果输出内容显示了版本号且未出现任何 CUDA 相关错误，说明您已具备服务部署的条件。

启动您的首个模型

建议先选用 35B 类型的 MoE 模型，该模型运行速度快且经过充分测试，还能为系统预留充足的内存空间。

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768

此命令会在 http://127.0.0.1:8000 上启动一个兼容 OpenAI 协议的服务器，请执行测试：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/Qwen3.5-35B-A3B-NVFP4",
    "messages": [{"role": "user", "content": "Hello"}],
    "max_tokens": 64
  }'

几秒钟后您应当能收到响应，此时首个令牌的生成耗时约为 0.12 秒。

不同模型规模的优化参数设置

在 DGX Spark 平台上，对 3 而言最为关键的参数为 --gpu-memory-utilization、--max-model-len 以及 --quantization。以下为经过验证的初始配置方案：

模型规模	`gpu_memory_utilization`	`max_model_len`	`quantization`	预期生成的令牌速率
35B 类型的 MoE 模型	0.90	32768	`nvfp4`	47-50
70B 类型的密集型模型	0.85	8192	`nvfp4`	15-20
120B 类型的 MoE 模型	0.85	8192	`nvfp4`	25-30

35B MoE 模型（Qwen3.5-35B-A3B、Qwen3.6-35B-A3B）

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768

35B 混合专家模型仅需占用约18 GB的存储空间来存储权重，从而为 KV 缓存预留了充足空间。若需要处理更长的上下文内容，您还可以进一步提升 max-model-len 的数值。

70B 密集型模型

vllm serve <your-70b-model> \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

70B 密集型模型的权重占用约 35 GB 显存（NVFP4 量化下）。将 max-model-len 保持在 8192 可为并发请求的 KV 缓存预留空间。社区报告显示，在此规模下多用户并发能力限制在 5-10 个用户。

120B MoE 模型（Qwen3.5-122B-A10B、Nemotron-3-Super-120B）

vllm serve <your-120b-moe-model> \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

120B MoE 模型的权重占用约 60 GB 显存。在设定为 8192 的上下文长度限制下，KV 缓存管理难度也相对可控。单用户推理时预计可获得约 30 令牌/秒的处理速度。

关于显存配置优化方案——包括 KV 缓存容量设定、批量处理规模权衡以及 --kv-cache-dtype fp8 相关设置，可参阅 DGX Spark 显存调优指南。

NVFP4 量化参数配置方案

NVFP4 是 DGX Spark 平台推荐的量化方案。该方案可于 SM121 架构上原生运行，能在几乎不影响模型质量的前提下实现显存占用缩减 75% 的效果。

选用预量化处理完成的模型

NVIDIA 已在 Hugging Face 平台发布了 NVFP4 量化模型检查点，请选用以 nvidia/ 为前缀的版本即可。

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 --quantization nvfp4

加载模型时执行在线量化处理

如果不存在预量化的检查点，vLLM 可基于 BF16 模型实时执行量化处理：

vllm serve <model-path> --quantization nvfp4

该过程需要更长的加载时间（因为模型必须先在内存中完成量化），但适用于 vLLM 支持的所有模型架构。

SGLang 替代方案

部分社区用户针对特定的 DGX Spark 工作负载，推荐选用 SGLang 而非原版 vLLM。SGLang 同样基于 CUDA 13.0 技术栈运行，且兼容相同的模型格式。

python -m sglang.launch_server --model-path <model> --port 8000

若原版 vLLM 的配置无法满足特定模型的吞吐量需求，可尝试使用 SGLang。两者的配置方式存在差异，请查阅 SGLang 的官方文档以了解针对 DGX Spark 的专属参数设置。

ARM64 与 SM121 平台注意事项

在正式使用 DGX Spark 搭载的 Grace 处理器（ARM64）及 Blackwell 显卡（SM121）前，需留意若干平台特有的技术问题。

问题现象	具体表现	解决方案
CUDA 12 相关库文件	导入错误及内核启动失败现象	仅可使用 CUDA 13.0；同时请更新 DGX 操作系统
NIM 容器无法正常运行	在 ARM 架构下容器意外退出或出现错误 64	建议直接使用 vLLM 而非 NIM 容器
出现内存溢出情况却未给出明确的错误提示	系统直接失去响应，而非返回 CUDA 内存溢出相关的错误提示	将 `gpu_memory_utilization` 的数值限制在 0.85 至 0.90 范围内；详情请参阅内存调优指南
Gemma-4 `gpu_memory_utilization`	启动性能分析时相关参数会被忽略，导致系统卡死	请明确启用 NVFP4 量化方式；同时请关注 vLLM #46307 相关动态

在 DGX Spark 系统中，系统会失去响应而非返回 CUDA 内存溢出错误。 在采用统一内存架构的系统中，若模型与 KV 缓存所需内存总量超出可用内存容量，系统便会陷入卡死状态而非正常报错。因此务必先设定较为保守的 gpu_memory_utilization 数值（针对大型模型可设为 0.85），待确认系统运行稳定后再逐步调高该数值。

请对您的系统配置进行基准测试

启动后，请通过快速基准测试来验证吞吐量。

python -m vllm.entrypoints.openai.api_server \
  --model nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768 &

# Wait for the server to start, then:
python -m vllm.benchmarks.benchmark_serving \
  --model nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --num-prompts 10 \
  --request-rate 1

将测试结果与上方设置表中预期的令牌/秒数值进行对比。若实际吞吐量明显偏低，请确认 CUDA 13.0 已启用且没有其他进程占用 GPU 内存。提供服务期间请持续监控内存使用情况。

watch -n 1 nvidia-smi

利用 Tokios 公开您的端点。

Spark 上的 vLLM 可为您提供本地的 /v1 端点。若想让笔记本电脑、编码工具或团队成员无需借助 SSH 隧道或开放端口即可访问该端点，只需将 Tokios 连接器与 vLLM 一同运行即可。

在 Spark 上启动 vLLM。

按照上述步骤启动模型，并确认其能在 http://127.0.0.1:8000/v1 上正常响应。

安装并配对连接器。

在 Tokios dashboard 界面中打开 Setup 并选择 Start pairing 以获取 API 密钥。随后在 Spark 端执行后续操作。

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

完成部署配置。

在 Models 选项卡中，将您的 vLLM 上游模型 ID 对应至某个部署名称。客户端实际调用时使用的是该部署名称而非上游模型 ID。

有关客户端配置示例，请参阅完整的 DGX Spark 用例指南。

模型兼容性

确认哪些模型能够适配 128GB 的内存容量以及它们预期的运行效率。

内存参数调优

针对生产环境工作负载设置 KV 缓存大小、FP8 格式的 KV 缓存及其他相关参数。

vLLM 远程访问配置

除 DGX Spark 外其他常见的 vLLM 远程访问实现方式。

单个 Spark 与两个 Spark 的对比

借助第二个 Spark 与张量并行技术实现 405B 个模型的规模化部署。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

在 NVIDIA DGX Spark 上安装并配置 vLLM

前置条件

安装 vLLM

启动您的首个模型

不同模型规模的优化参数设置

35B MoE 模型（Qwen3.5-35B-A3B、Qwen3.6-35B-A3B）

70B 密集型模型

120B MoE 模型（Qwen3.5-122B-A10B、Nemotron-3-Super-120B）

NVFP4 量化参数配置方案

选用预量化处理完成的模型

加载模型时执行在线量化处理

SGLang 替代方案

ARM64 与 SM121 平台注意事项

请对您的系统配置进行基准测试

利用 Tokios 公开您的端点。

模型兼容性

内存参数调优

vLLM 远程访问配置

单个 Spark 与两个 Spark 的对比

​前置条件

​安装 vLLM

​启动您的首个模型

​不同模型规模的优化参数设置

​35B MoE 模型（Qwen3.5-35B-A3B、Qwen3.6-35B-A3B）

​70B 密集型模型

​120B MoE 模型（Qwen3.5-122B-A10B、Nemotron-3-Super-120B）

​NVFP4 量化参数配置方案

​选用预量化处理完成的模型

​加载模型时执行在线量化处理

​SGLang 替代方案

​ARM64 与 SM121 平台注意事项

​请对您的系统配置进行基准测试

​利用 Tokios 公开您的端点。

模型兼容性

内存参数调优

vLLM 远程访问配置

单个 Spark 与两个 Spark 的对比

前置条件

安装 vLLM

启动您的首个模型

不同模型规模的优化参数设置

35B MoE 模型（Qwen3.5-35B-A3B、Qwen3.6-35B-A3B）

70B 密集型模型

120B MoE 模型（Qwen3.5-122B-A10B、Nemotron-3-Super-120B）

NVFP4 量化参数配置方案

选用预量化处理完成的模型

加载模型时执行在线量化处理

SGLang 替代方案

ARM64 与 SM121 平台注意事项

请对您的系统配置进行基准测试

利用 Tokios 公开您的端点。