Skip to main content
挑选适合本地大语言模型推理的硬件。所列各平台的存储容量、运算性能、带宽水平及模型承载能力均有详细说明，便于您快速对比并查阅对应的部署指南。 若您已购置相应硬件，可先查看 快速对比表 以了解自身所用平台的定位。若尚在选购阶段，可借助 选购指南 依据预算与使用需求缩小选择范围。

​
硬件平台概览

NVIDIA DGX Spark

专为大型混合专家模型设计的全天候推理服务器该配置尤其适合需要在 Grace Blackwell 芯片上运行大型 MoE 模型的团队使用 24/7。如需查看完整兼容模型列表，请参阅 DGX Spark 模型兼容性说明。

AMD Strix Halo（Radeon 8060S）

配备 128 GB 统一存储器的紧凑型工作站
ROCm 的支持程度较为有限。为获得最佳效果，建议搭配 llama.cpp 并使用 Vulkan 后端。

NVIDIA RTX 4090

适用于单用户的高速推理任务之桌面工作站消费级 GPU 中具备最高内存带宽的产品，非常适合单用户快速推理需求。该产品与 vLLM 搭配可实现高吞吐量服务，与 Ollama 搭配则便于快速部署。详情请参阅 RTX 工作站部署指南。

NVIDIA RTX A6000

专业级工作站，支持多用户部署Double the VRAM of a 4090 at lower peak bandwidth. Fits 70B models on 1 GPU.

Apple Mac Studio（M2 Ultra）

运行安静，可在 macOS 上运行大型模型目前桌面端设备中具备最大容量的统一内存，可悄无声息地运行 120B 类模型。可搭配支持 Metal 加速技术的 LM Studio 或 Ollama 使用。详情请参阅 Mac Studio 部署指南。

多 GPU 配置（2x RTX 4090 型号 / 2x A6000 型号）

超出 1 GPU 承载极限的巨型模型Use tensor parallelism across 2 GPUs when 1 GPU is not enough. See 1 vs 2 DGX Sparks for clustering patterns.

普通消费级笔记本电脑（具备 16 GB内存）

7B 类模型，离线人工智能应用，适合旅行场景无需配备GPU即可在任意笔记本电脑上运行 7B 类模型，非常适合离线编程辅助工具及旅行场景使用。您可以将此工具与 Ollama 或 llama.cpp 搭配使用，从而实现最简单的本地部署；随后通过 Tokios 连接器即可在手机或其他设备上调用该模型。

手机或边缘设备

在设备端执行推理，最大程度保障隐私安全您可以直接在手机上运行小型模型，无需网络连接、无需借助云端服务，也完全不存在延迟问题。关于如何从 iOS 与安卓端的聊天应用访问家用服务器上的模型，请参阅 通过手机操作 一文。
DeepSeek-V4-Flash-0731 is a special case: its roughly 162–167 GB weight floor is beyond the multi-GPU card examples above. 2× 96 GB RTX PRO 6000 Blackwell cards have enough aggregate VRAM, but 0731 needs community validation on that configuration. Compare the 2× RTX PRO 6000, 2× DGX Spark, and 2× Strix Halo paths before buying hardware.

​
快速对比

上述令牌处理速度仅为针对 7B Q4 推理的粗略估算值，实际数值会因后端服务、量化方式以及上下文长度的不同而有所差异。建议您通过 部署效能测试 来验证自身环境的实际表现。

​
执行环境相容性

并非所有执行环境都能在各类平台上顺利运作。以下列出目前各硬件层级所能支援的执行环境类型。
若您的硬件平台兼容性有限，可先尝试 Ollama 或 llama.cpp，这两款工具对各类平台的适配性最为出色。

​
功耗与外形规格

适合本地推理的硬件设备种类繁多，从随身携带的手机到机架式服务器皆可。若设备需放置在办公桌或公共办公区，功耗与运行噪音便成为需要考量的因素。 若设备需要在公共区域运行 24/7，应优先选择待机功耗低且散热安静的型号。Mac Studio与DGX Spark正是适合办公环境长期运行的理想选择。

​
超出单台 1 设备的扩展需求

当单台 1 设备无法满足需求时，您有以下 3 种方案可选：
  1. 在同一设备上添加第二块GPU——通过张量并行技术实现（TP=2）。该方案尤其适用于 2x 系列的RTX 4090 或 2x A6000 显卡。具体配置方法可参阅模型分片说明。
  2. 组建多节点集群——例如通过网络连接的多台 2 DGX Spark设备，可协同运行特定分布式模型。此类模型的权重文件、缓存数据及运行时开销总和需控制在 256 GB以内。关于各方案的优劣对比，请参考1与2 DGX Spark对比指南。
  3. 转移至远程服务器运行——将模型部署在专用GPU服务器上，再通过Tokios从任意客户端进行调用。相关操作指南可查阅vLLM远程访问说明与Ollama远程访问说明。
对于团队协作部署而言，核心考量在于需要提升吞吐量还是扩展模型容量。增加GPU数量虽能同时满足两者需求，但实际扩展效果仍取决于模型特性、并行计算策略及设备互联能力。建议实测完整工作负载而非单纯依赖线性增长假设。

​
您应当选择何种硬件呢？

Use a consumer laptop with 16 GB RAM running 7B models through Ollama or llama.cpp. If you have a desktop with a PCIe slot, a used RTX 3090 (24 GB) offers strong value at $700-900 and fits 30B models at Q4.
RTX 4090 显卡（具备 24 GB 显存）。该显卡拥有高达 1008 GB/s 的显存带宽，可快速生成令牌，并且兼容 Ollama、vLLM、llama.cpp 以及 LM Studio 等多个后端平台。它能轻松运行 30B 个 Q4 精度的模型。
Mac Studio（具备 192 GB 统一内存）是能运行最大体积模型的台式机，可承载 120B 个 Q4 精度的模型。DGX Spark（具备 128 GB 统一内存）则能原生运行 70B 个 FP8 精度的模型以及 120B 个 MoE 架构模型。Strix Halo（具备 128 GB 统一内存）是一款体积小巧的替代方案，支持基于 Vulkan 的推理功能。
2x A6000 with NVLink gives 96 GB total VRAM and serves multiple users at once. DGX Spark is a turnkey alternative with 128 GB unified memory and no multi-GPU plumbing.
Mac Studio 的功耗仅为 60 至 150 瓦特，散热过程几乎无声。对于需要在办公室或家庭环境中持续运行推理任务的情形而言，这是最安静的选择。
Strix Halo 配备了 128 GB 的统一内存。该显卡需搭配 Vulkan 后端使用 llama.cpp，目前在此平台上对 ROCm 的支持仍较为有限。更多详情请参阅 Strix Halo 设置指南。
Phone / edge device for on-device inference with no network required. Run 3B-7B models through llama.cpp, MLC-LLM, or MediaPipe.

​
内存容量与模型大小的对应关系

本地运行大语言模型时最大的限制因素便是内存容量。下表展示了不同量化等级下，各类模型大小所对应的所需随机存取记忆体或显示记忆体容量。
务必预留 2至4吉字节的空间以供KV缓存及运行时开销使用。即便某个 70B Q4_K_M 模型能够完全装入 40吉字节显存中，仍需额外空间来处理上下文数据，因此建议预留 44至48吉字节的总容量。相关计算细节可参阅 KV缓存与上下文管理 章节。
Frontier-scale models like Kimi K3 (2.8T parameters) need ~1.4 TB even at 4-bit quantization — no single desktop or prosumer setup fits them. Moonshot recommends a supernode with 64+ accelerators. See Kimi K3 hardware requirements for the full picture.
请参阅 寻找适合您硬件的模型 以深入了解如何根据硬件条件挑选合适的模型规模，另可查阅 量化概念说明 来了解各类量化等级的含义。

​
常见的硬件选购误区

  • 应关注 TFLOPS 而非显存容量。 某型号 4090 的计算性能确实优于 A6000，不过 A6000 配备的 48 GB 显存能够承载 70B 规模的模型，而 4090 仅有 24 GB 显存则无法做到这一点。显存容量决定了可运行的模型规模，TFLOPS 则决定了运行速度。
  • 忽视 KV 缓存带来的额外开销。 某些模型在加载时看似能适配显存容量，但在推理过程中却可能因 KV 缓存随上下文长度增加而占用更多显存，最终导致显存不足。建议预留约 2 至 4 GB 的显存空间以备不时之需。
  • 误以为多 GPU 并行毫无成本。 在 2 块 GPU 间实现张量并行运算需要高速互联技术，如 NVLink 或 PCIe 4.0 x16 接口。若仅通过 PCIe 互联，其性能损耗约为单块大容量 GPU 的 10 至 20% 倍。
  • 忽略功耗与散热需求。 一台功率高达 450 瓦特的 RTX 4090 显卡在狭小办公环境中会产生大量热量与噪音。若该设备需连续运行 24 小时/7 小时，还需将电费支出与噪音影响纳入考量。
  • 忽略后端运行环境的兼容性。 并非所有运行环境都能支持各类 GPU。购买前务必确认所选后端与硬件兼容，详情可参阅上文的 运行环境兼容性说明。

​
后续步骤

挑选本地模型

依据自身工作流程、硬件条件及延迟要求来选定合适的模型与后端。

模型适配性评估

测算哪些模型规模与量化等级能够适配您的 GPU 或统一内存容量。

模型分片

当单个 1 GPU 资源不足以满足需求时，可将模型拆分至多个 GPU 上运行。

DGX Spark 模型兼容性

查询哪些模型可于 DGX Spark 上运行及其支持的量化等级。

Strix Halo 模型兼容性

确认哪些模型可借助 Vulkan 与 ROCm 后端在 AMD Strix Halo 上运行。

部署性能基准测试

在流量开始传输后，对比不同部署方案下的延迟与吞吐量表现。

支持的后端服务

将 Ollama、LM Studio、llama.cpp、vLLM 或 SGLang 配置为您所使用的上游服务。

快速入门指南

按步骤操作即可顺利创建连接器、完成部署并获取所需的 API 密钥。