量化格式及其所需的硬件

量化在精度与体积和速度之间取舍，它有两个独立的维度：量化名称（Q4_K_M、INT4、FP8——多少 bit 以及如何打包，详见量化解析）和量化格式（GGUF、AWQ、NVFP4——文件格式及其运行的 kernel，决定了哪些硬件实际能加载它）。本页面介绍第二个维度：选定下面的一行，就能知道需要什么硬件。

​

矩阵

† vLLM 自身的硬件支持表列出了 AWQ 通过独立代码路径支持 x86/Arm CPU，但不包括 GPTQ；实际上应将两者视为 GPU 优先的格式。 ‡ vLLM 的兼容性表将 AWQ 和 GPTQ 标记为在 vLLM 中不支持 AMD GPU——这是 vLLM 运行时的限制，并非对所有 AWQ/GPTQ kernel 的普遍结论。 § Blackwell 之前的 NVIDIA GPU 不具备 NVFP4 所需的 Tensor Core 支持；这不仅仅是驱动层面的限制。 ** MLX 的核心 PyPI 包面向 Apple Silicon + macOS；该项目也提供了实验性的 Linux CUDA 后端用于框架本身，但在 Hugging Face 上能找到的 MLX 量化模型文件是为 Apple Metal 路径构建的。 以上每项结论的来源均在下方注释中引用。

​

各格式说明

​

GGUF——通用性最强的默认格式

GGUF 是 llama.cpp 的模型格式，也是 Ollama 和 LM Studio 底层使用的格式。它可运行于 CPU、Apple Metal、NVIDIA CUDA、AMD ROCm（通过 HIP）和 Vulkan——llama.cpp 自身的构建文档列出了所有这些后端的专用构建目标，这使得 GGUF 成为消费级硬件上可移植性最强的格式。如果不确定硬件支持什么，GGUF 是安全的选择。参见 llama.cpp 和 GGUF 规范。

​

bf16 / FP16——基准格式

bf16 和 FP16 将每个参数存储为 2 字节，不做压缩。这是量化压缩的起点——每个 Q4、AWQ 或 NVFP4 文件都是 bf16/FP16 原始模型的更小、有损版本。支持情况取决于框架：在显存充足时，CUDA 和 ROCm 服务栈通常支持这些精度，而 CPU、Metal 和 Vulkan 路径取决于运行时，对大模型往往不实用。占用约为 4x 一个 4-bit 量化，bf16/FP16 很少是消费级硬件上本地运行的选择。内存计算参见 GPU-to-model fit。

​

AWQ 和 GPTQ——面向 GPU，vLLM 的格式

AWQ 和 GPTQ 是为 GPU 推理构建的 4-bit 量化格式，vLLM 是记录并维护两者支持的运行时。根据 vLLM 的硬件兼容性表，两者都运行于 NVIDIA GPU（Volta 到 Hopper，GPTQ 还额外支持 Volta）；vLLM 的表显示两者都不支持 AMD GPU。除非已为特定运行时确认了其他情况，否则应将它们视为 NVIDIA/CUDA 优先的一对格式。参见 vLLM 的量化文档。

​

MXFP4——gpt-oss 的原生格式

MXFP4 是 Open Compute Project 的 Microscaling 4-bit 浮点格式，也是 OpenAI 原生发布 gpt-oss 时使用的格式——gpt-oss-120b 和 gpt-oss-20b 都在 Hugging Face 上以 MXFP4 预量化分发，这使得 120b 可在约 80GB 内运行，20b 可在约 16GB 内运行。llama.cpp 添加了对 gpt-oss 的原生 MXFP4 支持，vLLM 也支持。参见 OpenAI——介绍 gpt-oss 和 llama.cpp gpt-oss 支持说明。

​

NVFP4——仅限 Blackwell

NVFP4 是 NVIDIA 自己的 4-bit 浮点格式，专为 Blackwell 架构中的第五代 Tensor Core 而构建（RTX 50 系列消费级显卡和 Blackwell 代数据中心 GPU）。NVIDIA 自身的技术博客将 NVFP4 描述为使用两级缩放方案的 Blackwell Tensor Core 格式，并将其与 MXFP4 和 FP4 并列为 Blackwell Tensor Core 原生支持的三种 4-bit 格式。如果你的 GPU 早于 Blackwell，NVFP4 不适合你——应寻找同一模型的 GGUF、AWQ 或 GPTQ 版本。参见 NVIDIA——介绍 NVFP4。

​

MLX——Apple Silicon

MLX 是 Apple 的数组框架，围绕统一内存模型构建，数组存在于 CPU 和 GPU 之间的共享内存中。MLX 量化模型——LM Studio 和其他 Mac 优先工具与 GGUF 一并提供该格式——面向 macOS 14 或更高版本上的 Apple Silicon。该项目自身的安装文档将 Apple Silicon + macOS 列为主力支持路径（另有实验性的 Linux/CUDA 后端用于框架本身，与以 MLX 格式分发的模型文件无关）。如果你不在 Mac 上，MLX 不是选项——应使用 GGUF。参见 GitHub 上的 MLX 和 MLX 安装文档。

​

该选哪个？

根据你已有的硬件匹配格式，而非反过来：

• NVIDIA，消费级显卡（RTX 40/30 系列或更早的无 Blackwell 显卡）——GGUF 是最简单的路径（Ollama、LM Studio），或者如果你在运行 vLLM 且想要 GPU 原生 kernel 的额外吞吐量，选 AWQ/GPTQ。
• NVIDIA Blackwell（RTX 50 系列或 Blackwell 数据中心 GPU）——以上格式仍然可用，但如果模型发布了 NVFP4 版本就寻找它；这是为你的 Tensor Core 构建的格式。
• Apple Silicon——GGUF（通过 Metal）是最简单、最常见的路径；MLX 是 Mac 原生的替代方案，部分工具（如 LM Studio）将其与 GGUF 一并提供。
• AMD GPU——通过 ROCm 或 Vulkan 使用 GGUF。AWQ/GPTQ 在 AMD 上的支持在不同运行时之间不一致，不要以此为基础做规划。
• 仅 CPU——GGUF。它是本矩阵中唯一真正支持 CPU 推理的格式，也是 llama.cpp、Ollama 和 LM Studio 的构建基础。

关于在你选定的格式中应选哪种量化名称（例如 Q4_K_M 对比 Q8_0），参见量化解析。关于将特定模型与你的显存做匹配，参见 GPU-to-model fit。