> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# RTX PRO Blackwell 型号对比指南

> 对比 RTX PRO 4000、4500、5000 和 6000 Blackwell 专业 GPU。Workstation 与 Max-Q 与 Server 与 'D' 型号——哪种适合你的使用场景。

NVIDIA 的 RTX PRO Blackwell 产品线涵盖 4 个 VRAM 级别（24 GB 到 96 GB）和 3 种外形规格（Workstation、Max-Q、Server），以及一个面向中国市场的出口合规型号。本指南帮助你根据工作负载选择合适的 SKU。

> [!NOTE]
>
> 最后验证时间：2026-10-21。价格和供货情况会变化，购买前请向 NVIDIA 或经销商确认。

## RTX PRO Blackwell 产品线

| Model | Memory | Bandwidth | TDP | Form factor | Price (MSRP) | Best for |
| - | - | - | - | - | - | - |
| **RTX PRO 4000** | 24 GB GDDR7 | 672 GB/s | 150W | Workstation | \~\$2,000-2,500 | 30B Q4, 14B FP16 |
| **RTX PRO 4500** | 32 GB GDDR7 | 896 GB/s | 200W | Workstation | \~\$3,000-4,000 | 70B Q4, 32B dense FP16 |
| **RTX PRO 5000** | 48 GB or 72 GB GDDR7 | 1,344 GB/s | 250W | Workstation | \~\$5,000-7,000 | 70B FP8, 120B MoE Q4 |
| **RTX PRO 6000 Workstation** | 96 GB GDDR7 | 1,792 GB/s | 300W | Workstation (full tower) | \~\$16,000 | 120B MoE FP8, 70B FP16 |
| **RTX PRO 6000 Max-Q** | 96 GB GDDR7 | 1,597 GB/s | 250W | Low-profile (4x per chassis) | \~\$8,500 | 4-GPU workstation (384 GB total) |
| **RTX PRO 6000 Server** | 96 GB GDDR7 | 1,792 GB/s | 300W | Rack-mount (datacenter) | varies | High-density serving |
| **RTX 6000D** | 84 GB GDDR7 | 1,597 GB/s | 300W | Workstation | varies | China market (export-compliance) |

> [!TIP]
>
> **"D" 后缀**表示 RTX 6000D 的"中国国内"版本——它是出口合规型号，配备 84 GB 而非 96 GB（性能降低约 12%）。仅通过中国授权经销商销售。

## 外形规格决策树

### Workstation（全塔式）

**RTX PRO 6000 Workstation** 是旗舰型号：96 GB GDDR7，采用标准全塔式机箱，配备主动散热和显示输出接口。

**适用场景：**

* 需要最大单 GPU VRAM（96 GB）用于 120B MoE 模型的 FP8 推理
* 拥有散热充足的标准工作站塔式机箱
* 需要显示输出接口用于交互式工作
* 预算约 \$16,000/卡

**示例用例：**

* 运行 DeepSeek V4-Flash-0731（162-167 GB），使用 2x PRO 6000 Workstation（共 192 GB）
* 单卡运行 GLM-4.5-Air（106B MoE）的 FP8 推理
* 多用户团队以高精度运行 70B 模型

### Max-Q（低矮式，每机箱 4x 卡）

**RTX PRO 6000 Max-Q** 主打密度：与 Workstation 版本相同的 96 GB GDDR7，但采用低矮外形，可在单个工作站机箱中安装 4 张卡。

**适用场景：**

* 需要在一台机器中获得 384 GB 总 VRAM（4x 96 GB）
* 运行前沿模型如 DeepSeek V4.1 Flash（763B 总参数）的高精度推理
* 拥有支持 4x 低矮 GPU 的工作站机箱
* 预算约 \$8,500/卡（比 Workstation 版本更便宜）

**示例用例：**

* 4x RTX PRO 6000 Max-Q（共 384 GB）运行 DeepSeek V4.1 Flash 的 FP8 dense + MXFP4 experts，每 GPU 约 135 tok/s
* 多 70B 模型的高密度推理服务器
* 需要 300+ GB VRAM 的研究工作负载，无需多节点集群

> [!WARNING]
>
> **Max-Q 需要合适的机箱。** 并非所有工作站机箱都能容纳 4x 低矮 GPU。下单前请检查 PCIe 插槽间距、供电能力（4x 250W = 总计 1,000W）和散热气流。

### Server（机架式，数据中心）

**RTX PRO 6000 Server** 规格与 Workstation 版本完全相同，但专为机架式机箱设计，采用数据中心散热方案（卡上无主动风扇，依赖机箱气流）。

**适用场景：**

* 正在构建机架式推理服务器
* 数据中心提供强制风冷散热
* 需要高密度部署（每个 2U/4U 机箱多张卡）
* 不需要显示输出接口

**示例用例：**

* 多租户推理 API 服务
* 有 SLA 要求的企业 LLM 部署
* 8-16 张卡的集群用于大规模模型服务

### RTX 6000D（中国出口合规版）

**RTX 6000D** 是面向中国市场的精简版 RTX PRO 6000。配备 84 GB GDDR7 而非 96 GB，带宽和性能降低约 12%。

**适用场景：**

* 你在中国或向中国客户销售
* 需要遵守美国对先进 AI 硬件的出口管制
* 84 GB 足以满足你的工作负载（仍可运行 120B MoE 的 Q4 量化）

**示例用例：**

* 与 RTX PRO 6000 Workstation 相同，但 VRAM 少 12 GB
* 2x RTX 6000D（共 168 GB）运行 DeepSeek V4-Flash-0731，余量不如 2x PRO 6000

## RTX PRO 4000 / 4500 / 5000：中端专业卡

并非所有工作负载都需要 96 GB。中端 RTX PRO 卡以更低的价格提供专业特性（ECC 内存、ISV 认证、专业驱动）。

### RTX PRO 4000（24 GB，约 \$2,000-2,500）

**最适合：** 30B 模型的 Q4 量化，14B 模型的 FP16 精度

**示例工作负载：**

* Qwen3.6-35B-A3B（35B MoE，3B 活跃参数）Q4 量化：约 75 tok/s
* Llama 3.1 14B FP16 精度：约 75 tok/s
* Gemma 4 E4B Q8 精度：约 100 tok/s

**相比 RTX 4090 的选择理由：**

* 需要 ECC 内存用于生产环境服务
* 需要 ISV 认证以兼容专业软件
* 需要支持周期更长的专业驱动
* 需要 24/7 可靠性保证

### RTX PRO 4500（32 GB，约 \$3,000-4,000）

**最适合：** 70B 模型的 Q4 量化，32B 稠密模型的 FP16 精度

**示例工作负载：**

* Qwen3 70B Q4 量化：约 85 tok/s
* Llama 3.1 32B FP16 精度：约 85 tok/s
* 2x RTX PRO 4500（共 64 GB）通过张量并行运行 120B MoE 模型

**相比 RTX 5090 的选择理由：**

* 32 GB VRAM 与 RTX 5090 相同，但具备专业特性
* 慢约 15%，相比 RTX 5090 的原始推理速度，但支持 ECC 和 ISV
* 更适合可靠性比峰值速度更重要的生产部署

### RTX PRO 5000（48 GB 或 72 GB，约 \$5,000-7,000）

**最适合：** 70B 模型的 FP8 精度，120B MoE 模型的 Q4 量化

**示例工作负载：**

* Qwen3 70B FP8 精度：约 100 tok/s（质量高于 Q4）
* Qwen3.5-122B-A10B（122B MoE）Q4 量化：约 30 tok/s
* GLM-4.5-Air（106B MoE）Q4 量化：约 35 tok/s

**适用场景：**

* 需要 48-72 GB VRAM 用于 70B 模型的 FP8 推理（质量优于 Q4）
* 运行 120B MoE 模型，无法装入 32 GB 显存
* 需要专业特性但预算不足以购买 96 GB 的 PRO 6000

**48 GB 与 72 GB 版本对比：**

* 48 GB：可装入 70B 模型的 FP8 量化，剩余约 8 GB 用于 KV cache
* 72 GB：可装入 70B 模型的 FP8 量化，剩余约 32 GB；或以更高量化精度运行 120B MoE

## 多 GPU 配置

RTX PRO 卡在多 GPU 配置中表现出色。以下是常见配置方案：

### 2x RTX PRO 6000（共 192 GB）

**最适合：** DeepSeek V4-Flash-0731（162-167 GB），GLM-5.2 的 Q4 量化

**性能：**

* DeepSeek V4-Flash-0731 的 FP8+MXFP4 推理：约 106-210 tok/s（社区报告范围）
* GLM-5.2 的 Q4 量化：约 26 tok/s（估算值，需验证）

**硬件要求：**

* 工作站机箱，配备 2x 全长 PCIe 5.0 x16 插槽
* 2x 300W PCIe 电源接口（或 12VHPWR）
* 建议搭配 NVLink 桥接器进行张量并行（RTX PRO 6000 支持 NVLink）

### 4x RTX PRO 6000 Max-Q（共 384 GB）

**最适合：** 高精度运行 DeepSeek V4.1 Flash（763B 总参数）

**性能：**

* DeepSeek V4.1 Flash 的 FP8 dense + MXFP4 experts 推理：每 GPU 约 135 tok/s（总计 540 tok/s）
* 同时运行多个 70B 模型

**硬件要求：**

* 专为 4x 低矮 GPU 设计的工作站机箱
* 4x 250W PCIe 电源接口（总计 1,000W）
* 高风量散热（4x 张卡产生大量热量）

### 2x RTX PRO 4500（共 64 GB）

**最适合：** 120B MoE 模型的 Q4 量化，2x PRO 6000 的高性价比替代方案

**性能：**

* Qwen3.5-122B-A10B 的 Q4 量化：约 40-50 tok/s（估算值）
* GLM-4.5-Air 的 Q4 量化：约 45 tok/s（估算值）

**硬件要求：**

* 工作站机箱，配备 2x 全长 PCIe 5.0 x16 插槽
* 2x 200W PCIe 电源接口
* 建议搭配 NVLink 桥接器（RTX PRO 4500 支持 NVLink）

## 专业特性 vs 消费级显卡

为什么要多花 2-3x 的价格选择 RTX PRO 而非 RTX 5090？

| Feature | RTX PRO Blackwell | RTX 5090 | Why it matters |
| - | - | - | - |
| **ECC memory** | Yes (optional) | No | Prevents silent data corruption in production |
| **ISV certifications** | Yes | No | Guaranteed compatibility with professional software |
| **Professional drivers** | Yes (longer lifecycle) | Yes (shorter lifecycle) | Stability over bleeding-edge features |
| **NVLink support** | Yes (all models) | No | Fast multi-GPU interconnect (900 GB/s) |
| **24/7 reliability** | Yes (rated for continuous operation) | No (rated for 8h/day) | Critical for production serving |
| **Warranty** | 3 years (standard) | 2 years (standard) | Longer coverage for enterprise deployments |
| **Form factors** | Workstation, Max-Q, Server | Workstation only | Density options for datacenter |

> [!TIP]
>
> **选择 RTX PRO 的场景：**
>
> * 有 SLA 要求的生产环境服务
> * 停机成本高昂的多租户 API 服务
> * 有合规要求的企业部署
> * 需要 NVLink 的多 GPU 配置
>
> **选择 RTX 5090 的场景：**
>
> * 个人开发者或小团队
> * 实验和研究（非生产环境）
> * 预算受限的项目
> * 不需要 NVLink 的单 GPU 工作负载

## 价格和供货情况

| Model | MSRP (USD) | Availability | Notes |
| - | - | - | - |
| RTX PRO 4000 | \~\$2,000-2,500 | Q4 2026 | Entry professional |
| RTX PRO 4500 | \~\$3,000-4,000 | Q4 2026 | Mid-tier professional |
| RTX PRO 5000 (48 GB) | \~\$5,000-6,000 | Q4 2026 | 48 GB variant |
| RTX PRO 5000 (72 GB) | \~\$6,000-7,000 | Q4 2026 | 72 GB variant |
| RTX PRO 6000 Workstation | \~\$16,000 | Q4 2026 | Flagship workstation |
| RTX PRO 6000 Max-Q | \~\$8,500 | Q4 2026 | Density-optimized |
| RTX PRO 6000 Server | varies | Q4 2026 | Contact NVIDIA sales |
| RTX 6000D | varies | Q4 2026 | China only |

> [!WARNING]
>
> **上市初期供货有限。** RTX PRO Blackwell 显卡的产量低于消费级 RTX 显卡。交货周期可能为 4-8 周。请通过 NVIDIA 授权专业合作伙伴订购，而非消费零售渠道。

## 运行时兼容性

所有 RTX PRO Blackwell 显卡均支持完整 CUDA，兼容所有主流推理后端：

| Backend | Support | Notes |
| - | - | - |
| **Ollama** | Yes | Simplest setup, single-user |
| **vLLM** | Yes | Production-grade, concurrent batching |
| **SGLang** | Yes | High-throughput, RadixAttention |
| **llama.cpp** | Yes (CUDA) | CPU+GPU offloading, GGUF quantization |
| **LM Studio** | Yes | Desktop GUI, easy model management |
| **TensorFold** | Yes | EXL3 quantization, highest throughput |

> [!TIP]
>
> **NVLink 对多 GPU 至关重要。** 如果运行 2x 或 4x RTX PRO 卡，请使用 NVLink 进行张量并行。PCIe 5.0 x16 单向带宽为 128 GB/s；NVLink 为 900 GB/s。7x 的带宽差异在大模型上可带来 10-20% 的吞吐量提升。

## 后续步骤

> **[硬件参考](https://docs.tokios.com/zh/guides/hardware-reference.md)**
>
> 对比 RTX PRO 与消费级 GPU、Mac Studio、DGX Spark 及预算级方案。

> **[DGX Spark 模型兼容性](https://docs.tokios.com/zh/guides/dgx-spark-model-compatibility.md)**
>
> 查看哪些模型可以在 DGX Spark 的 128 GB 统一内存上运行。

> **[模型分片](https://docs.tokios.com/zh/guides/model-sharding.md)**
>
> 配置跨多个 GPU 的张量并行。

> **[DeepSeek V4.1 Flash 在 2 台 DGX Spark 上运行](https://docs.tokios.com/zh/blog/deepseek-v41-flash-dgx-spark.md)**
>
> DeepSeek V4.1 Flash 在 2 台 DGX Spark 上运行的社区基准测试（2x RTX PRO 6000 的替代方案）。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.