跳转到主要内容
DGX Spark 配备了 128GB 的统一内存，可供 Grace CPU 与 Blackwell GPU 共同使用。该内存容量足以承载参数规模最高约 70B、采用 4 位量化处理的稠密模型，也能支撑参数总量最高约 120B、采用 NVFP4 格式的 MoE 模型。不过并非所有量化版本的模型都能顺利运行，各运行环境对统一内存布局的适配程度也各不相同。本页面将为您说明哪些模型可正常运行、哪些需要特定条件才能运行，以及哪些完全无法适配。

​
简要结论

One DGX Spark runs dense models up to ~70B at Q4 and MoE models up to ~120B total parameters at NVFP4. MoE models are the better fit because only a fraction of their parameters activate per token, giving you higher throughput for the same memory footprint.

​
How the 128GB gets used

DGX Spark does not have discrete VRAM. The Grace CPU and Blackwell GPU share a single 128GB memory pool over a 273 GB/s interconnect. When you load a model, 3 things consume that pool:
  1. 模型权重——这是最大的固定内存开销，其大小取决于模型参数总量与量化方式。
  2. KV 缓存——其容量随上下文长度与并发请求数量的增加而增长。关于缓存大小的计算方式，可参阅 DGX Spark 内存调优指南。
  3. 系统及 CUDA 运行开销——对于 DGX OS、CUDA 运行环境以及 vLLM 的 CUDA 计算图而言，这部分开销通常在 4 至 8 GB 之间。
扣除系统开销后，实际可供模型权重与 KV 缓存使用的内存容量约为 115 至 120 GB。
DeepSeek-V4-Flash-0731 无法适配 1 Spark 架构。虽然 2 Sparks 具备足够的内存容量来分割所发布的 162–167 GB 权重数据，但此类双 Spark 架构的相关验证结果均来自社区测试，仍需进行 0731 重新验证。请从 32K–128K 上下文入手，在配置集群前先阅读 DeepSeek V4 Flash 本地硬件指南。

​
密集型模型的兼容性

密集型模型会针对每个令牌激活所有参数。这意味着权重存储需求与计算量均随参数数量呈线性增长；一个参数为 70B 的密集型模型所需的内存及浮点运算量大约是参数为 35B 的同类模型的两倍。在 DGX Spark 平台上，此类模型最高可支持参数为 70B 且采用 4 位量化设置的情况，不过并发处理能力会受到 KV 缓存容量的制约。
在相同硬件环境下，Qwen3-32B 模型在各类社区基准测试中的性能表现差异显著（令牌生成速率介于 9 至 44 之间）。这种差异主要源于闪存注意力机制配置以及量化后端的不同。在最终确定部署方案前，请务必测试您的具体配置环境。
A 70B dense model at NVFP4 uses ~35 GB for weights, but each concurrent user adds KV cache on top. Community reports cap multi-user concurrency at 5-10 users before the Spark becomes unresponsive. For multi-user 70B workloads, consider two DGX Sparks.

​
统一内存环境下使用密集型模型的注意事项

  • ChatGPT-OSS-20B on Ollama reports 89% GPU usage but unacceptable latency. Community recommendation: switch to vLLM or SGLang for this model.
  • Qwen3.6-27B at NVFP4 is estimated to achieve 40–55 tok/s for a single user, based on similar dense models in the 27–32B range. The wide spread reflects differences in quantization backend and flash attention settings. With ~14–15 GB for weights, you have ample room for long context on a single Spark.
  • 70B 密集型模型虽然能够正常运行，但就单台 Spark 设备而言，此类模型已接近其实际承载能力的上限。此时制约性能提升的主要因素是并发请求所产生的 KV 缓存占用，而非权重存储需求。
  • 若需运行规模超过 70B 级别的密集型模型，则必须构建由两台 Spark 设备组成的集群。详情请参阅 单台与双台 DGX Spark 设备的对比。

​
MoE 模型的兼容性说明

对于 DGX Spark 而言，混合专家模型堪称最佳选择。所有专家权重均可载入内存，但每个令牌仅有一部分权重被激活，如此便能以小型模型的运算成本实现大型模型的功能。
Gemma-4-26B-A4B-it 在 DGX Spark 上无法正常运行，原因在于 vLLM 的 gpu_memory_utilization 参数在统一内存（SM121）环境下的启动性能分析阶段未被正确识别。这会导致系统失去响应。虽然可尝试显式启用 NVFP4 量化机制作为临时解决方案，但社区反馈显示截至 2026 月中旬该修复方案仍未完善。建议持续关注 vLLM 问题 #46307 以获取后续进展。

​
MoE 性能注意事项

  • Qwen3.5-35B-A3B at NVFP4 achieves 47-50 tok/s sustained for a single user. Time-to-first-token drops from 3 seconds (Ollama) to 0.12 seconds with vLLM.
  • Qwen3.6-35B-A3B 在仅使用标准 vLLM 的情况下，即可为单个用户实现每秒 47 至 50 个令牌的稳定生成速度。而借助基于纯 Rust/CUDA 技术打造的 Atlas 引擎，其生成速度最高可达每秒约 120 个令牌，这一数值比标准 vLLM 快了约 2.8x 倍；此外该引擎还支持高达 1M 个令牌的上下文长度。
  • Qwen3.5-122B-A10B 模型在执行 JSON-KIE 任务时，可维持约 30 令牌/秒的处理速度，且 MTP 接受率可达 100%；不过当并发负载达到 100K 时，该模型的处理能力便会下降。
  • GLM-4.5-Air 模型在 106B MoE 架构下拥有 12B 个活跃参数，社区普遍公认它是适用于 Spark 的最佳模型。该模型的内存占用也恰到好处。
GLM-4.6 模型（总计 357B 个实例，当前活跃的有 32B 个）无法完整部署在单台 DGX Spark 设备上。在采用 Q4 级别量化处理时，该模型所需内存约为 178 GB，这一数值远超 128 GB 的统一内存容量上限。若您的硬件配置为 128 GB 内存，建议选用 GLM-4.5-Air 模型。如需了解各版本间的详细差异，可查阅 GLM 系列说明。

​
Quantization format comparison on SM121

DGX Spark 设备搭载的 Blackwell GPU 基于 SM121 架构设计，不过并非所有量化格式都能得到该架构的原生支持。
NVFP4是 DGX Spark 的推荐默认选项。该格式受 SM121 硬件原生支持，能在几乎不影响质量的前提下将文件体积缩减 75%，同时兼容 vLLM 与 Atlas 引擎。仅当您使用 llama.cpp 或 Ollama 时才需选用 GGUF Q4_K_M。

​
上下文长度限制

上下文长度直接决定 KV 缓存所占用的内存规模，进而影响模型权重可使用的内存空间。在 DGX Spark 的统一内存架构下，KV 缓存占用的每一字节均来自同一个 128GB 内存池，该池还承载着模型权重、CUDA 运行时及操作系统。 采用 FP8 类型的 KV 缓存（--kv-cache-dtype fp8）后，上述数值可减半，且对模型质量的影响不足 2%，这相当于能够处理的上下文长度也翻倍了。 关于 KV 缓存大小的计算方式及调优参数，请参阅 DGX Spark 内存调优指南。

​
DGX Spark 平台上的 Kimi K3 模型

Kimi K3 does not fit on any practical DGX Spark cluster. The model’s 2.8T total parameters (~50B active per token through Stable LatentMoE) need about 1.4 TB at the native MXFP4 precision. Eight DGX Sparks pool 1 TB and still fall 376 GB short. NVIDIA documents Spark clusters up to 4 nodes (512 GB), and Moonshot recommends a supernode with 64 or more accelerators for K3. For the full calculation, see the Kimi K3 hardware deep dive. For Spark today, the models that fit are in the tables above — up to ~70B dense at Q4 and ~120B MoE at NVFP4 on a single node. See what to run instead of Kimi K3 for the best pick at each Spark count.

​
Qwen3.8 模型的部署可行性

The Qwen3.8 flagship shipped in August 2026 as Qwen3.8-2.4T-A95B: a Mixture-of-Experts model with 2.4 trillion total parameters and 95B active per token, text-only, released under Qwen’s custom qwen3.8-max license. The generation also includes Qwen3.8-27B (released 2026-08-14, Apache-2.0), a dense vision-language model that does fit a single Spark — see the verdict below the cluster math.

​
不同量化方式下的内存需求

仅计算模型权重所需的内存容量（尚未计入 KV 缓存、CUDA 计算图及系统开销）： Even at the most aggressive quantization, a single DGX Spark cannot run Qwen3.8-2.4T-A95B. This is a multi-node model that requires at least 10 Sparks at Q4 — and realistically 20+ Sparks at FP8 for reasonable KV cache headroom.

​
多节点集群规模规划

MoE models load all expert weights into memory even though only a subset activates per token. Qwen3.8-2.4T-A95B activates 95B of its 2.4T, but the 1.2 TB at Q4 is a hard floor regardless. The MoE advantage is in compute (fewer FLOPs per token), not in memory.

​
运行时支持情况

除了发布 2.4T 格式的权重文件外，Qwen 还提供了 vLLM、SGLang 以及 TokenSpeed 的部署指南。目前 llama.cpp、Ollama 和 LM Studio 的适配说明尚未发布——由于该模型采用了混合式 Gated DeltaNet 与 Gated Attention 架构，在生成 GGUF 格式版本前还需进行专门的底层内核开发工作。

​
可完整部署于单台 Spark 设备上的 Qwen3.8 模型

Qwen3.8-27B is the single-machine member of the generation: a dense 27B vision-language model released 2026-08-14 under Apache-2.0. Every official precision fits one Spark — 55.6 GB BF16 outright, and the official 30.9 GB FP8 build leaves roughly 90 GB of the 128 GB pool for KV cache. Serve it through vLLM or SGLang; no GGUF or NVFP4 build exists yet. Full sizing is on the Qwen3.8 model page; tested Spark configurations will be added here once verified.

​
GLM-5.2 模型的部署可行性

​
切勿仅依据活跃参数数量来评估 MoE 模型的内存需求

Active parameters affect per-token compute, not the resident weight floor. GLM-5.2 stores 753B parameters (Hugging Face reports 753,329,940,480 across 78 layers, 8 of 256 routed experts active per token plus 1 shared), so the transparent lower bound at exactly 4 bits per weight is:
这一数值大约相当于 3 倍于单个 DGX Spark 的 128 GB 容量。因此 1 个 Spark 节点显然不够，即便使用 2 个容量为 256 GB 的 Spark 节点，其总容量仍不足以容纳模型权重。理论上 3 个容量为 384 GB 的 Spark 节点可满足需求，但整个集群中仅有约 7 GB GB 空间可供格式元数据、操作系统、运行时缓冲区以及 KV 缓存使用，实际可用性极低。唯有配置 4 个容量为 512 GB 的 Spark 节点才能提供真正的冗余空间。若采用 FP8 格式，仅模型权重就需要 753 GB GB 容量，这意味着即便不计其他开销也至少需要 6 个 Spark 节点才行。
Do not claim GLM-5.2 fits on 1 or 2 Sparks at INT4 or FP8 — the published 753B checkpoint size rules it out. Do not promise a 1M context on a 4-Spark cluster from parameter counts alone. Verify the exact downloadable files, runtime support, and measured KV-cache use first.

​
按使用场景推荐的模型

已选定所需模型？现在即可完成连接器部署吧

为您的 DGX Spark 部署添加一个经过认证的端点，地址为 https://api.tokios.com；此过程无需开放入站端口，耗时约 5 分钟。

​
在速度与模型规模之间做出抉择

在 DGX Spark 上，核心的权衡点在于模型性能与处理速度之间的关系：
  • If speed matters most (coding agents, interactive chat): Pick a 35B MoE model at NVFP4. You get 47-50 tok/s (or 120 tok/s with Atlas), which feels instant.
  • 若模型质量最为重要（例如复杂推理或科研任务）：请选择能够容纳的最大规模模型，如 Qwen3.5-122B-A10B 或 GLM-4.5-Air，不过其处理速度会降至 25 至 30 令牌/秒。
  • 若并发处理最为关键（例如团队共用服务）：可继续选用 35B MoE 模型，并启用 FP8 格式的 KV 缓存以提升同时服务用户的数量。相关计算细节可参阅 DGX Spark 内存调优指南。

​
确认模型与您的 Spark 环境是否兼容

社区发布的基准测试数据虽具参考价值，但您所使用的 DGX 操作系统版本、CUDA 驱动程序以及 vLLM 构建版本可能带来不同表现。在最终选定模型前，请务必执行以下检查：
  1. 启动前检查内存占用情况：
  2. 以保守参数启动模型：
  3. 逐步提升 max-model-len 数值，直至达到所需的上下文长度或内存使用目标。
  4. 推理过程中需持续监控各项指标：
  5. 基准吞吐量：
倘若系统在任何步骤出现无响应情况，请重启系统并将 gpu_memory_utilization 的数值调低 0.05。

​
通过 Tokios 服务您的模型

当您成功在 DGX Spark 上借助 vLLM、Olla ma 或 llama.cpp 运行模型后，无需开放入站端口即可通过一个经过身份验证的端点对外提供服务。Tokios 连接器会从 Spark 端向外发起连接，进而在 https://api.tokios.com 处提供兼容 OpenAI 与 Anthropic 规范的 API。 关于完整的部署流程，请参阅 将您的 DGX Spark 配置为私有端点；若需将本地上游模型 ID 映射至对应的部署名称，可直接跳转至 注册模型。

DGX Spark 上的 vLLM 部署

针对不同模型规格，详细讲解如何配置 NVFP4 参数并完成 vLLM 的逐步安装。

DGX Spark 内存参数调优

针对 128GB 规格的内存环境，介绍 KV 缓存容量设定、批量处理权衡策略及相关调优参数。

单台与双台 DGX Spark 的选用

何时需要扩展至第二个 Spark 节点以实现分布式推理，以及何时模型规模会超出单个 1 节点的处理能力。

量化技术基础概念

在选定格式之前，请先了解 NVFP4、AWQ、FP8以及 GGUF。