跳转到主要内容
挑选适合本地大语言模型推理的硬件。以下每个平台均列出了内存、算力、带宽和模型承载能力，方便您快速对比并跳转到对应的配置指南。
最后验证时间：2026-10-14。价格和供货情况会发生变化，购买前请向制造商确认。
如果您已有硬件，可从快速对比表开始，了解您的平台处于什么水平。如果您正在选购，可借助选购指南按预算和使用场景缩小范围。

​
硬件平台

NVIDIA DGX Spark

适用于大型 MoE 模型的全天候推理服务器适合需要在 Grace Blackwell 芯片上 24/7 运行大型 MoE 模型的团队。完整模型列表请参阅 DGX Spark 模型兼容性。

AMD Strix Halo

配备最高 192 GB 统一内存的紧凑型工作站最高 192 GB 统一内存的 AMD Ryzen AI Max+ Pro 495 开发者平台。可在 Framework Desktop、迷你主机和笔记本电脑中找到。
ROCm 支持有限。在消费级硬件上，建议搭配 llama.cpp 使用 Vulkan 后端以获得最佳效果。

NVIDIA RTX 4090

桌面工作站，单用户高速推理消费级 GPU 中高内存带宽，价格低于 5090。非常适合单用户快速推理。搭配 vLLM 可实现高吞吐量服务，搭配 Ollama 则便于快速配置。请参阅 RTX 工作站配置指南。

NVIDIA RTX A6000

专业工作站，多用户服务显存容量是 4090 的两倍，峰值带宽较低。可运行 70B 模型，仅需 1 张 GPU。

NVIDIA RTX 5090

配备 32 GB GDDR7 的消费级旗舰约 39% 的性能提升（RTX 4090 在 8B 模型上达到 145 vs 104 tok/s）。多出 8 GB 显存（相比 4090），可运行 70B Q4 模型，24 GB 不够。预估 tok/s：7B ~162，14B ~90，32B dense ~45，70B ~23。建议零售价 $1,999。

Apple Mac Studio（M4 Ultra）

macOS 上运行大模型，2025 年更新运行 70B Q4 约 ~18-24 tok/s。用于 Mac Studio 和 Mac Pro。是 M2 Ultra 和 M5 Ultra 之间在 macOS 上运行大模型推理的中间选择。

Apple Mac Studio（M5 Ultra）

最大统一内存桌面电脑——最高 512 GB高出 50% 的带宽（相比 M3 Ultra）。运行 DeepSeek V4-Flash-0731（155 GB）于 256 GB 配置上。LLM 推理速度快约 20-25%（相比 M2 Ultra）。Mac Studio M5 Ultra 起售价 $5,499。

Apple Mac Studio（M5 Max）

适用于 70B 模型的中端 Apple Silicon运行 70B Q4 模型绰绰有余。Mac Studio M5 Max 起售价 $2,499。是 M4 Max 和 M5 Ultra 之间用于 macOS 推理的强力中间选择。

Apple Mac Studio（M2 Ultra）

静音运行，在 macOS 上运行大模型192 GB 统一内存可静音运行 120B 模型。已被 M4 Ultra 和 M5 Ultra 取代，但仍是 macOS 上大模型推理的可靠选择。搭配支持 Metal 加速的 LM Studio 或 Ollama 使用。请参阅 Mac Studio 配置指南。

多 GPU（2x RTX 5090 / 2x RTX 4090 / 2x A6000）

超出 1 张 GPU 承载能力的大模型使用张量并行跨 2 张 GPU，当 1 张 GPU 不够时。集群模式请参阅 1 vs 2 DGX Sparks。

消费级笔记本（16 GB）

7B 模型、离线 AI、出行使用在任意笔记本电脑上运行 7B 模型，无需独立 GPU。适合离线编程助手和出行场景。搭配 Ollama 或 llama.cpp 可实现最简本地配置，然后通过 Tokios 从手机或其他设备访问模型。

手机 / 边缘设备

设备端推理，隐私最大化直接在手机上运行小模型。无需网络、无需云端、无延迟。请参阅手机端使用，了解如何从 iOS 和 Android 聊天应用访问家庭服务器模型。
DeepSeek-V4-Flash-0731 是个特例：其权重大小约 162–167 GB，超出了大多数单 GPU 配置。Mac Studio M5 Ultra（256 GB 配置）可以原生精度运行它。2x 96 GB RTX PRO 6000 Blackwell 显卡也有足够的总显存，但 0731 在该配置上尚需社区验证。购买前请对比 M5 Ultra、2x RTX PRO 6000、2x DGX Spark 和 2x Strix Halo 方案。

​
快速对比

Token 速度为 7B Q4 推理的粗略估算值，实际数值因后端、量化方式和上下文长度而异。请使用部署性能测试来验证您自身配置的实际表现。

​
运行时兼容性

并非所有运行时都适用于每个平台。以下是各硬件级别目前支持的运行时。
如果您的硬件运行时支持有限，可以从 Ollama 或 llama.cpp 开始——它们的平台覆盖范围最广。

​
功耗与外形规格

本地推理硬件从口袋里的手机到机架式服务器应有尽有。如果设备放在办公桌或共享办公区，功耗和噪音值得关注。 如果设备在共享空间 24/7 运行，应优先选择低待机功耗和安静散热方案。Mac Studio 和 DGX Spark 是办公环境中最佳的全天候运行选择。

​
超出 1 台机器的扩展

当 1 台机器不够用时，您有 3 种方案：
  1. 在同一台机器中添加第二张 GPU——使用张量并行（TP=2）。适用于 2x RTX 5090（64 GB 总计）、2x RTX 4090 或 2x A6000。配置方法请参阅模型分片。
  2. 集群多台节点——例如 2 台 DGX Spark 通过网络连接，可以服务选定的分布式模型，前提是权重、缓存和运行时开销总计不超过 256 GB。各方案的取舍请参阅 1 vs 2 DGX Sparks。
  3. 卸载到远程服务器——在专用 GPU 服务器上运行模型，然后通过 Tokios 从任意客户端访问。请参阅 vLLM 远程访问 和 Ollama 远程访问。
对于团队服务，关键问题是您需要更高的吞吐量还是更大的模型容量。增加 GPU 可以同时改善两者，但扩展效果取决于模型、并行策略和互连。请实测完整工作负载，而非假设线性吞吐。

​
应该选择哪种硬件？

使用配备 16 GB 内存的消费级笔记本，通过 Ollama 或 llama.cpp 运行 7B 模型。如果您的台式机有 PCIe 插槽，二手 RTX 3090（24 GB）在 $700-900 价位性价比很高，可以运行 30B Q4 模型。
RTX 5090（32 GB，建议零售价 $1,999）。32 GB GDDR7 可以运行 70B Q4 模型，而 4090 的 24 GB 装不下，小模型推理速度快约 39%。RTX 4090（24 GB）如果能以较低价格买到，仍是强力选择——消费级最高内存带宽 1008 GB/s，且在 Ollama、vLLM、llama.cpp 和 LM Studio 上均有广泛后端支持。
Mac Studio M5 Ultra（256-512 GB 统一内存）可容纳桌面端最大的模型——120B+ Q4，还可运行 DeepSeek V4-Flash（256 GB 配置上以原生精度）。Mac Studio M4 Ultra（192 GB）和 M2 Ultra（192 GB）也能静音运行 120B 模型。DGX Spark（128 GB）原生运行 70B FP8 和 120B MoE 模型。Strix Halo（最高 192 GB 统一内存）是支持 Vulkan 推理的紧凑替代方案。
Mac Studio（任意 Apple Silicon）功耗 30-150W，散热近乎静音。是办公室或家庭环境中全天候推理的最安静选择。M5 Ultra 最高支持 512 GB 统一内存，可运行最大模型。
Strix Halo 最高 192 GB 统一内存，基于 Ryzen AI Max+ Pro 495 开发者平台。可在 Framework Desktop、迷你主机和笔记本电脑中找到。建议搭配 Vulkan 后端使用 llama.cpp——ROCm 在消费级硬件上支持有限。详情请参阅 Strix Halo 配置指南。
手机 / 边缘设备用于设备端推理，无需网络。通过 llama.cpp、MLC-LLM 或 MediaPipe 运行 3B-7B 模型。

​
内存与模型大小的对应关系

本地大语言模型推理最大的限制因素是内存。下表展示了不同量化级别下，常见模型大小所需的内存或显存。
务必预留 2-4 GB 用于 KV 缓存和运行时开销。70B Q4_K_M 模型”刚好”装入 40 GB 显存时仍需上下文空间——请按 44-48 GB 总量规划。计算细节请参阅 KV 缓存与上下文。
前沿级模型如 Kimi K3（2.8T 参数）需要约 1.4 TB，即使在 4-bit 量化下——没有任何单台桌面或消费级配置能容纳。Moonshot 建议配备 64+ 加速器的超级节点。完整信息请参阅 Kimi K3 硬件需求。
请参阅查找适合您硬件的模型以深入了解如何将模型大小与硬件匹配，另可查阅量化概念了解各量化级别的含义。

​
常见硬件选购误区

  • 只看 TFLOPS，不看内存。 4090 或 5090 的原始算力高于 A6000，但 A6000 的 48 GB 显存可以运行 70B 模型，而 4090 的 24 GB 则不行。即使是 5090 的 32 GB 在更高量化级别下运行 70B 也很紧张。内存决定能运行什么；TFLOPS 决定运行多快。
  • 忽视 KV 缓存开销。 加载时”刚好”装入显存的模型，在推理过程中可能因 KV 缓存随上下文增长而 OOM。请预留 2-4 GB 额外空间。
  • 以为多 GPU 没有代价。 跨 2 张 GPU 的张量并行需要高速互连（NVLink 或 PCIe 4.0 x16）。通过 PCIe 互连时，与单张大 GPU 相比预计有 10-20% 的吞吐损失。
  • 忽略功耗和散热。 575W 的 RTX 5090 或 450W 的 RTX 4090 在小型办公环境中会产生明显的热量和噪音。如果设备 24/7 运行，需要考虑电费和噪音影响。
  • 跳过后端兼容性检查。 并非所有运行时都支持所有 GPU。购买前请确认所选后端在您的硬件上可用——请参阅上方的运行时兼容性。

​
后续步骤

选择本地模型

根据您的工作流程、硬件和延迟需求选择模型和后端。

模型适配

计算哪些模型大小和量化级别适合您的 GPU 或统一内存。

模型分片

当1 张 GPU 不够时，将模型拆分到多张 GPU 上运行。

DGX Spark 模型兼容性

查看哪些模型可在 DGX Spark 上运行以及支持的量化级别。

Strix Halo 模型兼容性

查看哪些模型可通过 Vulkan 和 ROCm 后端在 AMD Strix Halo 上运行。

测试您的部署

流量运行后，对比不同部署的延迟和吞吐量表现。

支持的后端

将 Ollama、LM Studio、llama.cpp、vLLM 或 SGLang 配置为上游后端。

快速入门

从零开始完成连接器、部署和 API 密钥的配置。