> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# 在 DGX Spark 上运行 Qwen3.6-35B-A3B

> 在 NVIDIA DGX Spark 上使用 vLLM 和 Tokios 运行 Qwen3.6-35B-A3B（35B MoE，3B 活跃参数）的分步指南。达到 47-120 tok/s，使用 NVFP4 量化。

Qwen3.6-35B-A3B 是 DGX Spark 的最佳选择模型。它是一个 35B 参数的混合专家模型，每个 token 仅激活 3B 参数，让你以小型模型的速度获得大型模型的能力。在单台 DGX Spark 上使用 NVFP4 量化，可获得 47-50 tok/s 的持续吞吐量——使用 Atlas 引擎可达 120 tok/s。

本指南将带你完成下载模型、使用 vLLM 部署服务，以及通过 Tokios 向团队开放访问的全过程。

最后验证：2026-10-24

## 你将获得

* **模型：** Qwen3.6-35B-A3B（35B 总参数，每个 token 3B 活跃参数）
* **硬件：** 单台 NVIDIA DGX Spark（128 GB 统一内存）
* **吞吐量：** vLLM 下 47-50 tok/s，Atlas 下可达 120 tok/s
* **上下文：** 32K+ tokens
* **内存占用：** 权重约 18 GB，剩余 100+ GB 用于 KV cache
* **适用场景：** 高速编程助手、对话、JSON 提取、智能体工作流

## 前提条件

* 已安装 DGX OS 的 NVIDIA DGX Spark
* 用于下载模型权重的网络连接（约 18 GB）
* Tokios 账户（免费套餐即可）
* 15 分钟

## 第 1 步：安装 vLLM

DGX Spark 预装了 CUDA 和 Python。安装 vLLM v0.31.0 或更高版本：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
pip install --upgrade vllm
```

验证安装：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
vllm --version
```

## 第 2 步：下载模型

NVFP4 量化由 Blackwell GPU 的 SM121 架构原生支持，可减少 75% 的体积，质量损失极小。

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
huggingface-cli download Qwen/Qwen3.6-35B-A3B-NVFP4
```

下载大小约 18 GB。在 DGX Spark 273 GB/s 的内存带宽下，大约 40 秒即可完成。

> [!NOTE]
>
> 如果你更倾向于使用 GGUF 格式配合 llama.cpp 或 Ollama，请改用 `Qwen/Qwen3.6-35B-A3B-GGUF`。但是，推荐在 DGX Spark 上使用 NVFP4，因为硬件原生支持该格式，且同时兼容 vLLM 和 Atlas。

## 第 3 步：使用 vLLM 部署模型

使用 NVFP4 模型启动 vLLM 服务器：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
vllm serve Qwen/Qwen3.6-35B-A3B-NVFP4 \
  --host 127.0.0.1 \
  --port 8000 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90
```

服务器约 30 秒启动。你将看到：

```
INFO:     Started server process [12345]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8000
```

测试端点：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3.6-35B-A3B-NVFP4",
    "messages": [{"role": "user", "content": "Write a Python hello world"}],
    "max_tokens": 100
  }'
```

你应该在约 2 秒内收到响应（vLLM 的首 token 时间约 0.12 秒）。

## 第 4 步：基准测试

运行快速基准测试以验证吞吐量：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
python -m vllm.entrypoints.benchmark_serving \
  --backend vllm \
  --model Qwen/Qwen3.6-35B-A3B-NVFP4 \
  --dataset-name sonnet \
  --dataset-path sonnet.txt \
  --num-prompts 10 \
  --request-rate 1
```

DGX Spark 上的预期结果：

| 指标 | 数值 |
| - | - |
| 吞吐量（单用户） | 47-50 tok/s |
| 首 token 时间 | \~0.12s |
| 内存占用 | \~18 GB 权重 + \~2-4 GB KV cache |

> [!TIP]
>
> 要获得最大吞吐量（可达 120 tok/s），请使用 Atlas 引擎代替 vLLM。Atlas 是一个纯 Rust/CUDA 引擎，专为 Blackwell GPU 优化。使用 `pip install atlas-inference` 安装，并用 `atlas serve Qwen/Qwen3.6-35B-A3B-NVFP4` 启动服务。

## 第 5 步：连接 Tokios

你的模型已在 `127.0.0.1:8000` 上运行。要为团队提供远程访问并支持每用户 API key，请安装 Tokios connector。

### 安装 connector

从 [Tokios dashboard](https://tokios.com/console) 的 **Setup** 标签页获取你的 claim code，然后运行：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX
```

### 认领 connector

在控制台中，**approve** 该设备。然后配置 connector 指向 vLLM：

```json theme={"theme":{"light":"github-light","dark":"css-variables"}}
{
  "upstream": "http://127.0.0.1:8000/v1"
}
```

### 注册部署

在 **Models** 标签页中，将上游模型 id 映射到公开部署名称：

* **Upstream model id：** `Qwen/Qwen3.6-35B-A3B-NVFP4`
* **Deployment name：** `qwen36-35b`

### 创建 API key

在 **Keys** 标签页中，为每位团队成员创建 key。将每个 key 的作用域限定为 `qwen36-35b` 部署。

## 第 6 步：从任意客户端使用

你的团队现在可以使用 OpenAI 兼容 API 从任何地方调用该模型：

```python OpenAI SDK theme={"theme":{"light":"github-light","dark":"css-variables"}}
from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="qwen36-35b",
    messages=[{"role": "user", "content": "Write a Python hello world"}],
)
print(response.choices[0].message.content)
```

```bash curl theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen36-35b",
    "messages": [{"role": "user", "content": "Write a Python hello world"}]
  }'
```

```javascript OpenAI SDK theme={"theme":{"light":"github-light","dark":"css-variables"}}
import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.tokios.com/v1',
  apiKey: 'sk-tok-YOUR_KEY',
});

const response = await client.chat.completions.create({
  model: 'qwen36-35b',
  messages: [{ role: 'user', content: 'Write a Python hello world' }],
});
console.log(response.choices[0].message.content);
```

## DGX Spark 还能运行哪些模型？

128 GB 统一内存可以容纳多个模型。查看完整的 [DGX Spark 模型兼容性矩阵](https://docs.tokios.com/guides/dgx-spark-model-compatibility.md) 了解更多选项：

* **Qwen3.5-122B-A10B** — 122B MoE，\~30 tok/s，\~61 GB 权重
* **GLM-4.5-Air** — 106B MoE，社区评价"Spark 最佳模型"，\~53 GB 权重
* **Qwen3-32B** — 32B 稠密模型，9-44 tok/s，\~18 GB 权重（性能差异较大）
* **DeepSeek-V4.1-Flash** — 763B MoE，需要 2 台 Spark（参见 [V4.1 Flash 在 2 台 DGX Spark 上](https://docs.tokios.com/blog/deepseek-v41-flash-dgx-spark.md)）

## 故障排除

### vLLM 启动失败，提示"CUDA out of memory"

将 `--gpu-memory-utilization` 从 0.90 降低到 0.85。DGX Spark 的统一内存布局意味着 GPU 和 CPU 共享同一个内存池，vLLM 的性能分析可能会高估仅 GPU 使用的内存量。

### 首 token 时间过长（>1s）

确保你使用的是 NVFP4 量化，而非 GGUF。NVFP4 由 SM121 架构原生支持，加载速度更快。同时确认你使用的是 vLLM v0.31.0 或更高版本。

### Gemma-4-26B-A4B-it 加载失败

该模型在统一内存（SM121）上使用 vLLM 的 `gpu_memory_utilization` 参数时存在已知问题。请显式使用 NVFP4 量化或切换到其他模型。关注 [vLLM issue #46307](https://github.com/vllm-project/vllm/issues/46307) 获取更新。

## 后续步骤

* [DGX Spark 模型兼容性](https://docs.tokios.com/guides/dgx-spark-model-compatibility.md) — 完整兼容性矩阵
* [在 DGX Spark 上使用 vLLM](https://docs.tokios.com/guides/vllm-dgx-spark.md) — vLLM 高级配置
* [团队访问本地模型](https://docs.tokios.com/use-cases/team-access.md) — 为团队提供 API 访问
* [什么是本地 LLM？](https://docs.tokios.com/guides/what-is-local-llm.md) — 本地运行 LLM 的完整指南


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.