在 DGX Spark 上运行 Qwen3.6-35B-A3B

Qwen3.6-35B-A3B 是 DGX Spark 的最佳选择模型。它是一个 35B 参数的混合专家模型，每个 token 仅激活 3B 参数，让你以小型模型的速度获得大型模型的能力。在单台 DGX Spark 上使用 NVFP4 量化，可获得 47-50 tok/s 的持续吞吐量——使用 Atlas 引擎可达 120 tok/s。本指南将带你完成下载模型、使用 vLLM 部署服务，以及通过 Tokios 向团队开放访问的全过程。最后验证：2026-10-24

你将获得

模型： Qwen3.6-35B-A3B（35B 总参数，每个 token 3B 活跃参数）
硬件： 单台 NVIDIA DGX Spark（128 GB 统一内存）
吞吐量： vLLM 下 47-50 tok/s，Atlas 下可达 120 tok/s
上下文： 32K+ tokens
内存占用： 权重约 18 GB，剩余 100+ GB 用于 KV cache
适用场景： 高速编程助手、对话、JSON 提取、智能体工作流

前提条件

已安装 DGX OS 的 NVIDIA DGX Spark
用于下载模型权重的网络连接（约 18 GB）
Tokios 账户（免费套餐即可）
15 分钟

第 1 步：安装 vLLM

DGX Spark 预装了 CUDA 和 Python。安装 vLLM v0.31.0 或更高版本：

pip install --upgrade vllm

验证安装：

vllm --version

第 2 步：下载模型

NVFP4 量化由 Blackwell GPU 的 SM121 架构原生支持，可减少 75% 的体积，质量损失极小。

huggingface-cli download Qwen/Qwen3.6-35B-A3B-NVFP4

下载大小约 18 GB。在 DGX Spark 273 GB/s 的内存带宽下，大约 40 秒即可完成。

如果你更倾向于使用 GGUF 格式配合 llama.cpp 或 Ollama，请改用 Qwen/Qwen3.6-35B-A3B-GGUF。但是，推荐在 DGX Spark 上使用 NVFP4，因为硬件原生支持该格式，且同时兼容 vLLM 和 Atlas。

第 3 步：使用 vLLM 部署模型

使用 NVFP4 模型启动 vLLM 服务器：

vllm serve Qwen/Qwen3.6-35B-A3B-NVFP4 \
  --host 127.0.0.1 \
  --port 8000 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90

服务器约 30 秒启动。你将看到：

INFO:     Started server process [12345]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8000

测试端点：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3.6-35B-A3B-NVFP4",
    "messages": [{"role": "user", "content": "Write a Python hello world"}],
    "max_tokens": 100
  }'

你应该在约 2 秒内收到响应（vLLM 的首 token 时间约 0.12 秒）。

第 4 步：基准测试

运行快速基准测试以验证吞吐量：

python -m vllm.entrypoints.benchmark_serving \
  --backend vllm \
  --model Qwen/Qwen3.6-35B-A3B-NVFP4 \
  --dataset-name sonnet \
  --dataset-path sonnet.txt \
  --num-prompts 10 \
  --request-rate 1

DGX Spark 上的预期结果：

指标	数值
吞吐量（单用户）	47-50 tok/s
首 token 时间	~0.12s
内存占用	~18 GB 权重 + ~2-4 GB KV cache

要获得最大吞吐量（可达 120 tok/s），请使用 Atlas 引擎代替 vLLM。Atlas 是一个纯 Rust/CUDA 引擎，专为 Blackwell GPU 优化。使用 pip install atlas-inference 安装，并用 atlas serve Qwen/Qwen3.6-35B-A3B-NVFP4 启动服务。

第 5 步：连接 Tokios

你的模型已在 127.0.0.1:8000 上运行。要为团队提供远程访问并支持每用户 API key，请安装 Tokios connector。

安装 connector

从 Tokios dashboard 的 Setup 标签页获取你的 claim code，然后运行：

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

认领 connector

在控制台中，approve 该设备。然后配置 connector 指向 vLLM：

{
  "upstream": "http://127.0.0.1:8000/v1"
}

注册部署

在 Models 标签页中，将上游模型 id 映射到公开部署名称：

Upstream model id： Qwen/Qwen3.6-35B-A3B-NVFP4
Deployment name： qwen36-35b

创建 API key

在 Keys 标签页中，为每位团队成员创建 key。将每个 key 的作用域限定为 qwen36-35b 部署。

第 6 步：从任意客户端使用

你的团队现在可以使用 OpenAI 兼容 API 从任何地方调用该模型：

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="qwen36-35b",
    messages=[{"role": "user", "content": "Write a Python hello world"}],
)
print(response.choices[0].message.content)

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen36-35b",
    "messages": [{"role": "user", "content": "Write a Python hello world"}]
  }'

import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.tokios.com/v1',
  apiKey: 'sk-tok-YOUR_KEY',
});

const response = await client.chat.completions.create({
  model: 'qwen36-35b',
  messages: [{ role: 'user', content: 'Write a Python hello world' }],
});
console.log(response.choices[0].message.content);

DGX Spark 还能运行哪些模型？

128 GB 统一内存可以容纳多个模型。查看完整的 DGX Spark 模型兼容性矩阵了解更多选项：

Qwen3.5-122B-A10B — 122B MoE，~30 tok/s，~61 GB 权重
GLM-4.5-Air — 106B MoE，社区评价”Spark 最佳模型”，~53 GB 权重
Qwen3-32B — 32B 稠密模型，9-44 tok/s，~18 GB 权重（性能差异较大）
DeepSeek-V4.1-Flash — 763B MoE，需要 2 台 Spark（参见 V4.1 Flash 在 2 台 DGX Spark 上）

故障排除

vLLM 启动失败，提示”CUDA out of memory”

将 --gpu-memory-utilization 从 0.90 降低到 0.85。DGX Spark 的统一内存布局意味着 GPU 和 CPU 共享同一个内存池，vLLM 的性能分析可能会高估仅 GPU 使用的内存量。

首 token 时间过长（>1s）

确保你使用的是 NVFP4 量化，而非 GGUF。NVFP4 由 SM121 架构原生支持，加载速度更快。同时确认你使用的是 vLLM v0.31.0 或更高版本。

Gemma-4-26B-A4B-it 加载失败

该模型在统一内存（SM121）上使用 vLLM 的 gpu_memory_utilization 参数时存在已知问题。请显式使用 NVFP4 量化或切换到其他模型。关注 vLLM issue #46307 获取更新。

后续步骤

DGX Spark 模型兼容性 — 完整兼容性矩阵
在 DGX Spark 上使用 vLLM — vLLM 高级配置
团队访问本地模型 — 为团队提供 API 访问
什么是本地 LLM？ — 本地运行 LLM 的完整指南

本地 LLM 入门

硬件与适配

服务与连接运行时

连接客户端或应用

对比

在 DGX Spark 上运行 Qwen3.6-35B-A3B

你将获得

前提条件

第 1 步：安装 vLLM

第 2 步：下载模型

第 3 步：使用 vLLM 部署模型

第 4 步：基准测试

第 5 步：连接 Tokios

安装 connector

认领 connector

注册部署

创建 API key

第 6 步：从任意客户端使用

DGX Spark 还能运行哪些模型？

故障排除

vLLM 启动失败，提示”CUDA out of memory”

首 token 时间过长（>1s）

Gemma-4-26B-A4B-it 加载失败

后续步骤

​你将获得

​前提条件

​第 1 步：安装 vLLM

​第 2 步：下载模型

​第 3 步：使用 vLLM 部署模型

​第 4 步：基准测试

​第 5 步：连接 Tokios

​安装 connector

​认领 connector

​注册部署

​创建 API key

​第 6 步：从任意客户端使用

​DGX Spark 还能运行哪些模型？

​故障排除

​vLLM 启动失败，提示”CUDA out of memory”

​首 token 时间过长（>1s）

​Gemma-4-26B-A4B-it 加载失败

​后续步骤

你将获得

前提条件

第 1 步：安装 vLLM

第 2 步：下载模型

第 3 步：使用 vLLM 部署模型

第 4 步：基准测试

第 5 步：连接 Tokios

安装 connector

认领 connector

注册部署

创建 API key

第 6 步：从任意客户端使用

DGX Spark 还能运行哪些模型？

故障排除

vLLM 启动失败，提示”CUDA out of memory”

首 token 时间过长（>1s）

Gemma-4-26B-A4B-it 加载失败

后续步骤