> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# RTX 50 系列消费级指南：5090、5080、5070 本地 LLM 推理

> NVIDIA RTX 5090、5080、5070 Ti、5070、5060 Ti 和 5060 本地 LLM 推理完整指南。FP4 原生支持、模型兼容性及与 RTX 40 系列的对比。

NVIDIA RTX 50 系列（Blackwell 架构）为消费级 GPU 带来原生 FP4 张量核心和最高 32 GB GDDR7 显存。RTX 5090 是"2026 年最佳 LLM 消费级 GPU"——但整个产品线在不同价位都有各自的优势。本指南帮助你根据工作负载和预算选择合适的 RTX 50 显卡。

> [!NOTE]
>
> 最后验证时间：2026-10-24。价格和供货情况因地区而异。购买前请向零售商确认。

> [!WARNING]
>
> **RTX 5090 供货与价格。** NVIDIA 已确认 RTX 5090 **未停产**——仍在生产中。但 GDDR7 短缺导致街价超过 $4,000（建议零售价 $1,999），NVIDIA 将 RTX 50 系列产量削减了 30-40%（H1 2026）。GPU 交货周期现已超过 30 周。三星、SK 海力士和美光已售罄其 2027 年 HBM/DRAM 产能，因此价格预计将在 2027 年持续高位或进一步上涨。如果能以接近建议零售价购买，不要等待。考虑**二手 RTX 4090**（约 \$1,600-2,000，同样 24 GB 显存）或 **AMD Strix Halo**（128 GB 统一内存，不受 HBM 短缺影响）作为替代方案。

## RTX 50 系列产品线

| 型号 | 显存 | 带宽 | TDP | 价格（建议零售价） | 最适合 |
| - | - | - | - | - | - |
| **RTX 5090** | 32 GB GDDR7 | 1,792 GB/s | 575W | \~\$1,999 | 70B Q4、32B 密集模型 FP16 |
| **RTX 5080** | 16 GB GDDR7 | 960 GB/s | 360W | \~\$1,000 | 30B Q4、14B Q8 |
| **RTX 5070 Ti** | 16 GB GDDR7 | 896 GB/s | 300W | \~\$750 | 30B Q4（比 5080 慢） |
| **RTX 5070** | 12 GB GDDR7 | 672 GB/s | 250W | \~\$550 | 14B Q4 |
| **RTX 5060 Ti** | 16 GB GDDR7 | 448 GB/s | 200W | \~\$450 | 30B Q4（受带宽限制） |
| **RTX 5060** | 8 GB GDDR7 | 448 GB/s | 150W | \~\$350 | 7B Q4 |

> [!TIP]
>
> **所有 RTX 50 系列显卡均具备原生 FP4 张量核心。** 这是 Blackwell 架构的特性，可加速 4 位量化（NVFP4、MXFP4）。对于支持 FP4 推理的模型，RTX 50 系列性能提升 20-40%，优于同显存级别的 RTX 40 系列。

## RTX 5090：旗舰型号

**规格：**

* 32 GB GDDR7
* 1,792 GB/s 带宽（消费级 GPU 最高）
* 575W TDP
* 建议零售价约 \$1,999

**性能：**

* 7B 模型：约 162 tok/s
* 14B 模型：约 90 tok/s
* 32B 密集模型：约 45 tok/s
* 70B 模型 Q4：约 23 tok/s
* 快约 39%，超越 RTX 4090（8B 模型：145 vs 104 tok/s）

**可运行的模型：**

* Qwen3 70B Q4（约 40 GB，加上 KV 缓存后空间紧张）
* Qwen3.5-122B-A10B Q4（约 70 GB，无法运行——需要 2x 5090）
* Qwen3.6-35B-A3B Q6\_K（约 28 GB，空间充裕）
* Llama 3.1 32B FP16（约 64 GB，无法运行——请使用 Q4）
* 同时运行多个 14B 模型

**何时选择 RTX 5090：**

* 需要单卡最高性能
* 运行 70B 模型 Q4（32 GB 是最低要求）
* 希望获得面向未来的 FP4 张量核心支持
* 预算约 \$2,000

**何时避免：**

* 只需要 16 GB 显存（选择 RTX 5080，节省 \$1,000）
* 需要高精度运行 70B+ 模型（选择 2x RTX 5090 或 RTX PRO 6000）
* 预算紧张（选择二手 RTX 3090，\$700-900，同样 24 GB 显存）

> [!WARNING]
>
> **RTX 5090 功耗为 575W。** 确保电源能够承受（建议 850W+），机箱散热充足。这不是低功耗显卡。

## RTX 5080：中端最佳选择

**规格：**

* 16 GB GDDR7
* 960 GB/s 带宽
* 360W TDP
* 建议零售价约 \$1,000

**性能：**

* 7B 模型：约 100 tok/s
* 14B 模型 Q8：约 70 tok/s
* 30B 模型 Q4：约 50 tok/s
* Gemma 4 E4B Q8：约 141 tok/s（社区基准测试）

**可运行的模型：**

* Qwen3.6-35B-A3B Q4（约 20 GB，无法运行——需要 24 GB）
* Qwen3 14B Q8（约 14 GB，空间充裕）
* Gemma 4 E4B Q8（约 14 GB，空间充裕）
* Llama 3.1 8B FP16（约 16 GB，空间紧张）
* 同时运行多个 7B 模型

**何时选择 RTX 5080：**

* 希望以合理价格获得 16 GB 显存
* 运行 14B-30B 模型 Q4
* 希望获得 FP4 张量核心支持但不想支付 5090 的价格
* 预算约 \$1,000

**何时避免：**

* 需要 24+ GB 显存（选择 RTX 5090 或二手 RTX 3090）
* 只需要 12 GB 显存（选择 RTX 5070，节省 \$450）
* 预算紧张（选择二手 RTX 3060 12GB，\$200-250）

## RTX 5070 Ti / 5070：入门级 Blackwell

### RTX 5070 Ti（16 GB，约 \$750）

**规格：**

* 16 GB GDDR7
* 896 GB/s 带宽（慢 7%，低于 5080）
* 300W TDP
* 建议零售价约 \$750

**性能：**

* 7B 模型：约 90 tok/s
* 14B 模型 Q8：约 65 tok/s
* 30B 模型 Q4：约 45 tok/s

**何时选择 RTX 5070 Ti：**

* 需要 16 GB 显存但预算不足以购买 RTX 5080
* 可以接受低 7% 的带宽
* 预算约 \$750

**何时避免：**

* 预算可以增加到 RTX 5080（仅多 \$250，带宽提升 7%）
* 只需要 12 GB 显存（选择 RTX 5070，节省 \$200）

### RTX 5070（12 GB，约 \$550）

**规格：**

* 12 GB GDDR7
* 672 GB/s 带宽
* 250W TDP
* 建议零售价约 \$550

**性能：**

* 7B 模型：约 75 tok/s
* 14B 模型 Q4：约 50 tok/s
* 30B 模型 Q4：无法运行（需要 16+ GB 显存）

**可运行的模型：**

* Qwen3 14B Q4（约 8 GB，空间充裕）
* Llama 3.1 8B Q8（约 8 GB，空间充裕）
* Gemma 3 12B Q4（约 7 GB，空间充裕）
* 同时运行多个 7B 模型

**何时选择 RTX 5070：**

* 希望以优惠价格获得 12 GB 显存
* 运行 7B-14B 模型 Q4
* 预算约 \$550

**何时避免：**

* 需要 16+ GB 显存（选择 RTX 5070 Ti 或 5080）
* 只需要 8 GB 显存（选择 RTX 5060，节省 \$200）

## RTX 5060 Ti / 5060：预算级 Blackwell

### RTX 5060 Ti（16 GB，约 \$450）

**规格：**

* 16 GB GDDR7
* 448 GB/s 带宽（慢 53%，低于 5080）
* 200W TDP
* 建议零售价约 \$450

**性能：**

* 7B 模型：约 70 tok/s
* 14B 模型 Q4：约 45 tok/s
* 30B 模型 Q4：约 30 tok/s（受带宽限制）

**可运行的模型：**

* 与 RTX 5080 相同（16 GB 显存）
* 但因带宽低 53%，速度慢得多

**何时选择 RTX 5060 Ti：**

* 预算紧张但需要 16 GB 显存
* 可以接受推理速度慢 30%，相比 RTX 4060 Ti 16GB
* 预算约 \$450

**何时避免：**

* 预算可以增加到 RTX 5070（仅多 \$100，带宽提升 80%）
* 需要快速推理（选择 RTX 5080 或二手 RTX 3090）

> [!TIP]
>
> **RTX 5060 Ti 是 RTX 50 产品线中性价比最低的型号。** 448 GB/s 带宽对 LLM 推理是严重瓶颈。只有在绝对需要 16 GB 显存且无法负担 RTX 5070 时才选择此型号。

### RTX 5060（8 GB，约 \$350）

**规格：**

* 8 GB GDDR7
* 448 GB/s 带宽
* 150W TDP
* 建议零售价约 \$350

**性能：**

* 7B 模型：约 60 tok/s
* 14B 模型 Q4：无法运行（需要 8+ GB 显存）

**可运行的模型：**

* Qwen3 8B Q4（约 5 GB，空间充裕）
* Llama 3.1 8B Q4（约 5 GB，空间充裕）
* Phi-4-mini（3.8B）Q8（约 4 GB，空间充裕）

**何时选择 RTX 5060：**

* 预算非常紧张
* 只需要运行 7B 模型
* 预算约 \$350

**何时避免：**

* 预算可以增加到 RTX 5070（仅多 \$200，显存增加 50%）
* 需要运行 14B+ 模型（选择 RTX 5070 或二手 RTX 3060 12GB）

## 与 RTX 40 系列的对比

RTX 50 系列相比 RTX 40 系列是否值得升级？

### RTX 5090 vs RTX 4090

| 特性 | RTX 5090 | RTX 4090 | 差异 |
| - | - | - | - |
| 显存 | 32 GB GDDR7 | 24 GB GDDR6X | +8 GB（+33%） |
| 带宽 | 1,792 GB/s | 1,008 GB/s | +78% |
| FP4 支持 | 是（原生） | 否 | 新特性 |
| TDP | 575W | 450W | +125W |
| 价格 | 约 \$1,999 | 约 \$1,600-2,000（二手） | 相近 |
| 7B tok/s | 约 162 | 约 120 | +35% |
| 70B Q4 | 可运行 | 无法运行 | 重大优势 |

**结论：** RTX 5090 速度提升 35%，可运行 70B 模型（RTX 4090 无法做到）。如果需要 32 GB 显存或最高性能，值得升级。

### RTX 5080 vs RTX 4080 Super

| 特性 | RTX 5080 | RTX 4080 Super | 差异 |
| - | - | - | - |
| 显存 | 16 GB GDDR7 | 16 GB GDDR6X | 相同 |
| 带宽 | 960 GB/s | 736 GB/s | +30% |
| FP4 支持 | 是（原生） | 否 | 新特性 |
| TDP | 360W | 320W | +40W |
| 价格 | 约 \$1,000 | 约 \$800-900（二手） | +\$100-200 |
| 7B tok/s | 约 100 | 约 85 | +18% |

**结论：** RTX 5080 速度提升 18%，带宽增加 30%。如果能以相近价格找到 RTX 4080 Super，值得升级。

### RTX 5070 vs RTX 4070 Super

| 特性 | RTX 5070 | RTX 4070 Super | 差异 |
| - | - | - | - |
| 显存 | 12 GB GDDR7 | 12 GB GDDR6X | 相同 |
| 带宽 | 672 GB/s | 504 GB/s | +33% |
| FP4 支持 | 是（原生） | 否 | 新特性 |
| TDP | 250W | 220W | +30W |
| 价格 | 约 \$550 | 约 \$500-600（二手） | 相近 |
| 7B tok/s | 约 75 | 约 65 | +15% |

**结论：** RTX 5070 速度提升 15%，带宽增加 33%。升级幅度有限——建议等待促销或购买二手 RTX 4070 Super。

### RTX 5060 vs RTX 4060

| 特性 | RTX 5060 | RTX 4060 | 差异 |
| - | - | - | - |
| 显存 | 8 GB GDDR7 | 8 GB GDDR6 | 相同 |
| 带宽 | 448 GB/s | 272 GB/s | +65% |
| FP4 支持 | 是（原生） | 否 | 新特性 |
| TDP | 150W | 115W | +35W |
| 价格 | 约 \$350 | 约 \$300（二手） | +\$50 |
| 7B tok/s | 约 60 | 约 50 | +20% |

**结论：** RTX 5060 速度提升 20%，带宽增加 65%。如果购买全新显卡，值得升级。

> [!TIP]
>
> **升级建议：**
>
> * **RTX 4090 → RTX 5090**：是，如果需要 32 GB 显存或 35% 的推理速度提升
> * **RTX 4080 Super → RTX 5080**：视情况，如果价格相近
> * **RTX 4070 Super → RTX 5070**：否，建议等待促销
> * **RTX 4060 → RTX 5060**：是，速度提升 20%，仅多 \$50

## FP4 原生支持

所有 RTX 50 系列显卡均具备原生 FP4 张量核心，可加速 4 位量化格式（NVFP4、MXFP4）。

### 什么是 FP4？

FP4（4 位浮点）是一种量化格式，可减少 75% 模型大小（相比 FP16），质量损失极小。RTX 50 系列拥有专用的 FP4 推理硬件加速。

### FP4 vs Q4

| 特性 | FP4（NVFP4/MXFP4） | Q4\_K\_M（GGUF） |
| - | - | - |
| 量化方式 | 4 位浮点 | 4 位整数 |
| 质量损失 | 低（1-2%） | 中低（3-5%） |
| 硬件加速 | 是（RTX 50 系列） | 否（软件） |
| 速度 | 快 20-40% | 基准 |
| 模型支持 | 有限（vLLM、SGLang） | 广泛（llama.cpp、Ollama） |

### 哪些模型支持 FP4？

**支持：**

* DeepSeek V4.1 Flash（NVFP4 变体）
* Qwen3 系列（提供 NVFP4 量化）
* 大多数采用 NVIDIA 优化的量化模型

**不支持：**

* GGUF 量化（Q4\_K\_M、Q5\_K\_M 等）
* AWQ 量化
* 大多数社区 GGUF 构建版本

> [!TIP]
>
> **FP4 尚未广泛普及。** 大多数模型以 GGUF 格式分发，采用 Q4\_K\_M 量化。FP4 支持正在增长，但 Q4\_K\_M 仍然是兼容性最好的格式。如需 FP4 加速且模型支持，请在 RTX 50 系列上使用。

## 软件兼容性

所有 RTX 50 系列显卡均兼容所有主流推理后端：

| 后端 | 支持 | 说明 |
| - | - | - |
| **Ollama** | 是 | 最简单的配置，单用户使用 |
| **vLLM** | 是 | 生产级，并发批处理，FP4 支持 |
| **SGLang** | 是 | 高吞吐量，RadixAttention，FP4 支持 |
| **llama.cpp** | 是（CUDA） | CPU+GPU 卸载，GGUF 量化 |
| **LM Studio** | 是 | 桌面 GUI，便捷的模型管理 |
| **TensorFold** | 是 | EXL3 量化，最高吞吐量 |

> [!TIP]
>
> **如需 FP4 加速，请使用 vLLM 或 SGLang。** 这些后端原生支持 FP4，可利用 RTX 50 系列张量核心。llama.cpp 和 Ollama 使用 GGUF 量化，无法从 FP4 硬件中受益。

## 功耗与散热

RTX 50 系列显卡功耗较高，请相应规划装机方案。

| 型号 | TDP | 建议电源 | 散热要求 |
| - | - | - | - |
| RTX 5090 | 575W | 850W+ | 全塔机箱，3+ 风扇 |
| RTX 5080 | 360W | 750W+ | 中塔机箱，2+ 风扇 |
| RTX 5070 Ti | 300W | 650W+ | 中塔机箱，2+ 风扇 |
| RTX 5070 | 250W | 600W+ | 中塔机箱，1-2 风扇 |
| RTX 5060 Ti | 200W | 550W+ | 中塔机箱，1 风扇 |
| RTX 5060 | 150W | 500W+ | 迷你机箱即可 |

> [!WARNING]
>
> **RTX 5090 需要 850W+ 电源和全塔机箱。** 该显卡占 3-4 个插槽位，发热量大。不要尝试在小尺寸机箱中运行或使用功率不足的电源。

## 性价比分析

哪款 RTX 50 显卡在本地 LLM 推理中提供最佳价值？

### 每 GB 显存成本

| 型号 | 显存 | 价格 | \$/GB | 说明 |
| - | - | - | - | - |
| RTX 5060 | 8 GB | 约 \$350 | \$44/GB | 入门级 |
| RTX 5060 Ti | 16 GB | 约 \$450 | \$28/GB | 性价比最低（受带宽限制） |
| RTX 5070 | 12 GB | 约 \$550 | \$46/GB | 适合 14B 模型 |
| RTX 5070 Ti | 16 GB | 约 \$750 | \$47/GB | 与 5070 每 GB 成本相同 |
| RTX 5080 | 16 GB | 约 \$1,000 | \$63/GB | 为带宽支付溢价 |
| RTX 5090 | 32 GB | 约 \$1,999 | \$62/GB | 为容量支付溢价 |

### 每 tok/s 成本（7B 模型）

| 型号 | tok/s（7B） | 价格 | \$/tok/s | 说明 |
| - | - | - | - | - |
| RTX 5060 | 约 60 | 约 \$350 | \$5.84 | 预算级 |
| RTX 5060 Ti | 约 70 | 约 \$450 | \$6.43 | 受带宽限制 |
| RTX 5070 | 约 75 | 约 \$550 | \$7.33 | 高性价比 |
| RTX 5070 Ti | 约 90 | 约 \$750 | \$8.33 | 高端 |
| RTX 5080 | 约 100 | 约 \$1,000 | \$10.00 | 高端 |
| RTX 5090 | 约 162 | 约 \$1,999 | \$12.34 | 高端 |

**最佳性价比：** RTX 5070，每 tok/s 成本 $7.33，75 tok/s 可运行 7B 模型，售价 $550——是价格与性能的最佳平衡点。

**最强性能：** RTX 5090，162 tok/s，但每 tok/s 成本 \$12.34。为获得最高速度需要支付溢价。

**最佳显存价值：** RTX 5060 Ti，每 GB \$28，但受带宽限制，速度较慢。除非预算紧张且绝对需要 16 GB 显存，否则不建议选择。

> [!TIP]
>
> **按预算推荐：**
>
> * \*\*$350-450**：RTX 5060（8 GB）或二手 RTX 3060 12GB（$200-250）
> * **\$550-750**：RTX 5070（12 GB）——最佳性价比
> * **\$1,000**：RTX 5080（16 GB）——如果需要 16 GB 显存
> * **\$2,000**：RTX 5090（32 GB）——如果需要运行 70B 模型或最高速度

## 多 GPU 配置

RTX 50 系列显卡可以组合使用以获得更大显存，但 PCIe 带宽是瓶颈。

### 2x RTX 5090（共 64 GB）

**最适合：** 120B MoE 模型 Q4、70B 模型 Q8

**性能：**

* Qwen3.5-122B-A10B Q4：约 40-50 tok/s（使用张量并行）
* GLM-4.5-Air Q4：约 45 tok/s

**要求：**

* 工作站机箱，配备 2x 全长 PCIe 5.0 x16 插槽
* 2x 575W PCIe 电源接口（共 1,150W）
* 支持 PCIe 拆分的主板（x16 → 2x x8）

**成本：** 约 $4,000（2x $1,999）

### 2x RTX 5080（共 32 GB）

**最适合：** 70B 模型 Q4、多个 30B 模型

**性能：**

* Qwen3 70B Q4：约 40-50 tok/s（使用张量并行）
* 多个 Qwen3.6-35B-A3B Q4：每个约 50 tok/s

**要求：**

* 工作站机箱，配备 2x 全长 PCIe 5.0 x16 插槽
* 2x 360W PCIe 电源接口（共 720W）

**成本：** 约 $2,000（2x $1,000）

> [!WARNING]
>
> **PCIe 带宽瓶颈：** 2x RTX 5090 通过 PCIe 5.0 x16（每方向 128 GB/s）比 NVLink 慢 10-20%。如需最佳多 GPU 性能，请使用支持 NVLink 的 RTX PRO 6000。

## 后续步骤

> **[硬件参考](https://docs.tokios.com/guides/hardware-reference.md)**
>
> 将 RTX 50 系列与 RTX 40/30 系列、RTX PRO 及其他平台进行对比。

> **[RTX PRO Blackwell 变体](https://docs.tokios.com/guides/rtx-pro-blackwell-variants.md)**
>
> 专业替代方案：RTX PRO 4000/4500/5000/6000，支持 NVLink 和 ECC 显存。

> **[模型适配](https://docs.tokios.com/guides/model-fit.md)**
>
> 计算哪些模型大小和量化方式适配你的 RTX 50 系列 GPU。

> **[RTX 工作站配置](https://docs.tokios.com/use-cases/rtx-workstation.md)**
>
> 将 RTX 5090/5080/5070 配置为 Tokios 私有模型端点。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.