在 NVIDIA DGX Spark 上安装并配置 vLLM

vLLM with NVFP4 quantization is the best-performing general-purpose serving path on DGX Spark. It gives you an OpenAI-compatible /v1 endpoint, native SM121 support, and the throughput numbers the community reports — 47-50 tok/s on Qwen3.5-35B-A3B, 15-20 tok/s on 70B dense, and ~30 tok/s on 120B MoE. This page walks you through installation, first launch, and the settings that matter.

Alternative engines. Some community members report better results with SGLang on specific model configurations, and the Atlas engine claims 2.8x over stock vLLM for Qwen3.6-35B-A3B. This page covers stock vLLM because it has the broadest model support and the most documented configuration surface.

前置条件

开始操作前，请确认您的 DGX Spark 满足以下要求：

操作系统： DGX OS（基于 Ubuntu 的 Linux aarch64 系统）
CUDA: 13.0 or later — CUDA 12 libraries fail on SM121
Python： 3.10 或更高版本（用于执行 pip 安装操作），亦可使用支持 ARM64 架构的 Docker 环境
内存： 128 GB 统一内存（所有 DGX Spark / GB10 设备均默认配置此项）

请先验证您的 CUDA 版本是否符合要求：

nvcc --version

确认 GPU 能够被识别：

nvidia-smi

此时您应当能看到型号为 GB10 Blackwell 的 GPU，其显存容量显示为 128 GB。

DGX Spark requires CUDA 13.0 exclusively. The SM121 architecture does not support CUDA 12 libraries. If nvcc --version shows CUDA 12.x, update your DGX OS packages before proceeding.

安装 vLLM

通过 pip 工具安装 vLLM

在 DGX 操作系统中最简单的安装方式便是直接执行 pip 安装指令。vLLM 提供了适用于 Grace CPU 架构的 ARM64 版本安装包。

pip install vllm

若您需要获取包含最新 NVFP4 或 SM121 相关修复补丁的夜间测试版：

pip install --pre vllm --extra-index-url https://wheels.vllm.ai/nightly

或者下载对应的 Docker 镜像

若您倾向于采用容器化方式完成部署，可下载兼容 ARM64 架构的镜像文件：

docker pull vllm/vllm-openai:latest

启动程序并启用 GPU 加速功能：

docker run --gpus all -it --rm -p 8000:8000 vllm/vllm-openai:latest

确认安装是否成功

验证 vLLM 程序能否正常启动并成功识别到 GPU 硬件。

python -c "import vllm; print(vllm.__version__)"

如果输出内容显示了版本号且未出现任何 CUDA 相关错误，说明您已具备服务部署的条件。

启动您的首个模型

建议先选用 35B 类型的 MoE 模型，该模型运行速度快且经过充分测试，还能为系统预留充足的内存空间。

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768

此命令会在 http://127.0.0.1:8000 上启动一个兼容 OpenAI 协议的服务器，请执行测试：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/Qwen3.5-35B-A3B-NVFP4",
    "messages": [{"role": "user", "content": "Hello"}],
    "max_tokens": 64
  }'

几秒钟后您应当能收到响应，此时首个令牌的生成耗时约为 0.12 秒。

不同模型规模的优化参数设置

在 DGX Spark 平台上，对 3 而言最为关键的参数为 --gpu-memory-utilization、--max-model-len 以及 --quantization。以下为经过验证的初始配置方案：

模型规模	`gpu_memory_utilization`	`max_model_len`	`quantization`	预期生成的令牌速率
35B 类型的 MoE 模型	0.90	32768	`nvfp4`	47-50
70B 类型的密集型模型	0.85	8192	`nvfp4`	15-20
120B 类型的 MoE 模型	0.85	8192	`nvfp4`	25-30

35B MoE 模型（Qwen3.5-35B-A3B、Qwen3.6-35B-A3B）

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768

35B 混合专家模型仅需占用约18 GB的存储空间来存储权重，从而为 KV 缓存预留了充足空间。若需要处理更长的上下文内容，您还可以进一步提升 max-model-len 的数值。

70B 密集型模型

vllm serve <your-70b-model> \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

70B dense models use ~35 GB for weights at NVFP4. Keep max-model-len at 8192 to leave room for KV cache across concurrent requests. Community reports show multi-user concurrency is limited to 5-10 users at this size.

120B MoE 模型（Qwen3.5-122B-A10B、Nemotron-3-Super-120B）

vllm serve <your-120b-moe-model> \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

120B MoE 模型的权重占用约 60 GB 显存。在设定为 8192 的上下文长度限制下，KV 缓存管理难度也相对可控。单用户推理时预计可获得约 30 令牌/秒的处理速度。

关于显存配置优化方案——包括 KV 缓存容量设定、批量处理规模权衡以及 --kv-cache-dtype fp8 相关设置，可参阅 DGX Spark 显存调优指南。

NVFP4 量化参数配置方案

NVFP4 是 DGX Spark 平台推荐的量化方案。该方案可于 SM121 架构上原生运行，能在几乎不影响模型质量的前提下实现显存占用缩减 75% 的效果。

选用预量化处理完成的模型

NVIDIA 已在 Hugging Face 平台发布了 NVFP4 量化模型检查点，请选用以 nvidia/ 为前缀的版本即可。

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 --quantization nvfp4

加载模型时执行在线量化处理

如果不存在预量化的检查点，vLLM 可基于 BF16 模型实时执行量化处理：

vllm serve <model-path> --quantization nvfp4

该过程需要更长的加载时间（因为模型必须先在内存中完成量化），但适用于 vLLM 支持的所有模型架构。

SGLang 替代方案

部分社区用户针对特定的 DGX Spark 工作负载，推荐选用 SGLang 而非原版 vLLM。SGLang 同样基于 CUDA 13.0 技术栈运行，且兼容相同的模型格式。

python -m sglang.launch_server --model-path <model> --port 8000

若原版 vLLM 的配置无法满足特定模型的吞吐量需求，可尝试使用 SGLang。两者的配置方式存在差异，请查阅 SGLang 的官方文档以了解针对 DGX Spark 的专属参数设置。

ARM64 与 SM121 平台注意事项

在正式使用 DGX Spark 搭载的 Grace 处理器（ARM64）及 Blackwell 显卡（SM121）前，需留意若干平台特有的技术问题。

问题现象	具体表现	解决方案
CUDA 12 相关库文件	导入错误及内核启动失败现象	仅可使用 CUDA 13.0；同时请更新 DGX 操作系统
NIM 容器无法正常运行	在 ARM 架构下容器意外退出或出现错误 64	建议直接使用 vLLM 而非 NIM 容器
出现内存溢出情况却未给出明确的错误提示	系统直接失去响应，而非返回 CUDA 内存溢出相关的错误提示	将 `gpu_memory_utilization` 的数值限制在 0.85 至 0.90 范围内；详情请参阅内存调优指南
Gemma-4 `gpu_memory_utilization`	启动性能分析时相关参数会被忽略，导致系统卡死	请明确启用 NVFP4 量化方式；同时请关注 vLLM #46307 相关动态

在 DGX Spark 系统中，系统会失去响应而非返回 CUDA 内存溢出错误。 在采用统一内存架构的系统中，若模型与 KV 缓存所需内存总量超出可用内存容量，系统便会陷入卡死状态而非正常报错。因此务必先设定较为保守的 gpu_memory_utilization 数值（针对大型模型可设为 0.85），待确认系统运行稳定后再逐步调高该数值。

请对您的系统配置进行基准测试

启动后，请通过快速基准测试来验证吞吐量。

python -m vllm.entrypoints.openai.api_server \
  --model nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768 &

# Wait for the server to start, then:
python -m vllm.benchmarks.benchmark_serving \
  --model nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --num-prompts 10 \
  --request-rate 1

将测试结果与上方设置表中预期的令牌/秒数值进行对比。若实际吞吐量明显偏低，请确认 CUDA 13.0 已启用且没有其他进程占用 GPU 内存。提供服务期间请持续监控内存使用情况。

watch -n 1 nvidia-smi

利用 Tokios 公开您的端点。

Spark 上的 vLLM 可为您提供本地的 /v1 端点。若想让笔记本电脑、编码工具或团队成员无需借助 SSH 隧道或开放端口即可访问该端点，只需将 Tokios 连接器与 vLLM 一同运行即可。

在 Spark 上启动 vLLM。

按照上述步骤启动模型，并确认其能在 http://127.0.0.1:8000/v1 上正常响应。

安装并配对连接器。

在 Tokios dashboard 界面中打开 Setup 并选择 Start pairing 以获取 API 密钥。随后在 Spark 端执行后续操作。

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

完成部署配置。

在 Models 选项卡中，将您的 vLLM 上游模型 ID 对应至某个部署名称。客户端实际调用时使用的是该部署名称而非上游模型 ID。

有关客户端配置示例，请参阅完整的 DGX Spark 用例指南。

模型兼容性

确认哪些模型能够适配 128GB 的内存容量以及它们预期的运行效率。

内存参数调优

针对生产环境工作负载设置 KV 缓存大小、FP8 格式的 KV 缓存及其他相关参数。

vLLM 远程访问配置

除 DGX Spark 外其他常见的 vLLM 远程访问实现方式。

单个 Spark 与两个 Spark 的对比

借助第二个 Spark 与张量并行技术实现 405B 个模型的规模化部署。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

在 NVIDIA DGX Spark 上安装并配置 vLLM

前置条件

安装 vLLM

启动您的首个模型

不同模型规模的优化参数设置

35B MoE 模型（Qwen3.5-35B-A3B、Qwen3.6-35B-A3B）

70B 密集型模型

120B MoE 模型（Qwen3.5-122B-A10B、Nemotron-3-Super-120B）

NVFP4 量化参数配置方案

选用预量化处理完成的模型

加载模型时执行在线量化处理

SGLang 替代方案

ARM64 与 SM121 平台注意事项

请对您的系统配置进行基准测试

利用 Tokios 公开您的端点。

模型兼容性

内存参数调优

vLLM 远程访问配置

单个 Spark 与两个 Spark 的对比

​前置条件

​安装 vLLM

​启动您的首个模型

​不同模型规模的优化参数设置

​35B MoE 模型（Qwen3.5-35B-A3B、Qwen3.6-35B-A3B）

​70B 密集型模型

​120B MoE 模型（Qwen3.5-122B-A10B、Nemotron-3-Super-120B）

​NVFP4 量化参数配置方案

​选用预量化处理完成的模型

​加载模型时执行在线量化处理

​SGLang 替代方案

​ARM64 与 SM121 平台注意事项

​请对您的系统配置进行基准测试

​利用 Tokios 公开您的端点。

模型兼容性

内存参数调优

vLLM 远程访问配置

单个 Spark 与两个 Spark 的对比

前置条件

安装 vLLM

启动您的首个模型

不同模型规模的优化参数设置

35B MoE 模型（Qwen3.5-35B-A3B、Qwen3.6-35B-A3B）

70B 密集型模型

120B MoE 模型（Qwen3.5-122B-A10B、Nemotron-3-Super-120B）

NVFP4 量化参数配置方案

选用预量化处理完成的模型

加载模型时执行在线量化处理

SGLang 替代方案

ARM64 与 SM121 平台注意事项

请对您的系统配置进行基准测试

利用 Tokios 公开您的端点。