量化格式及其所需的硬件

量化技术以牺牲精度为代价来减小体积并提升运行速度，它包含两个独立维度：量化名称（Q4_K_M、INT4、FP8——即使用的比特位数及其排列方式，详见量化技术详解）以及量化格式（GGUF、AWQ、NVFP4——即文件格式及运行时调用的内核，这些因素决定了哪些硬件能够加载该模型）。本页面着重介绍第二个维度：只需选定下方某一行，即可获知所需硬件类型。

​

对应矩阵

† vLLM 官方提供的硬件支持列表显示 AWQ 格式可通过独立代码路径在 x86架构或 Arm CPU 上运行，但并未提及 GPTQ；实际使用中可将二者均视作以 GPU 为主要运行环境的格式。 ‡ vLLM 的兼容性列表明确指出 AWQ 与 GPTQ 格式在 AMD GPU 上不受支持——这属于 vLLM 运行时的限制，并非所有 AWQ/GPTQ 相关实现均存在此类问题。 § 在 Blackwell 架构推出前，NVIDIA GPU 并不具备 NVFP4格式所需的 Tensor Core 支持能力；此限制并不仅限于驱动层面。 ** MLX 的核心 PyPI 软件包专为 Apple Silicon 与 macOS 平台设计；该项目虽也提供了面向 Linux 系统的实验性 CUDA 后端，但您在 Hugging Face 上能找到的经 MLX 量化处理的模型文件均是为 Apple Metal 平台所构建。 上述所有结论的出处均已列于下方注释中。

​

各类格式的相关说明

​

GGUF——通用性最佳的默认格式

GGUF即 llama.cpp 所使用的模型格式，也是 Ollama 与 LM Studio 在后台采用的格式。该格式可运行于 CPU、Apple Metal、NVIDIA CUDA、AMD ROCm（通过 HIP 接口实现）以及 Vulkan 平台；llama.cpp 的官方编译文档亦针对上述各类后端提供了对应的编译方案，这使得 GGUF成为在各类消费级硬件上兼容性最佳的格式。若不确定自身硬件的具体支持情况，选择 GGUF即为稳妥之选。详情请参阅 llama.cpp 以及 GGUF 规范。

​

bf16 / FP16 — 基准格式

bf16 和 FP16 以 2 字节存储每个参数，不做任何压缩。这正是量化压缩的起点——每个 Q4、AWQ 或 NVFP4 文件都是某个 bf16/FP16 原始模型的更小、有损版本。请将其支持情况视为依框架而定：在内存充足时，CUDA 和 ROCm 服务栈通常支持这些精度，而 CPU、Metal 和 Vulkan 路径则取决于运行时环境，对大型模型而言往往并不实际。bf16/FP16 的体积约为 4x，即 4 位量化模型的数倍，因此您很少会在消费级硬件上本地运行它。内存计算方法请参阅 GPU 与模型匹配。

​

AWQ与GPTQ — 面向GPU的vLLM专用格式

AWQ与GPTQ均为专为GPU推理设计的4位量化格式，而vLLM正是负责记录并维护这两种格式兼容性的运行时环境。根据vLLM提供的硬件兼容表，这两种格式均可在NVIDIA从Volta到Hopper系列的所有GPU上运行（其中GPTQ格式还兼容Volta架构）；但AMD GPU则未被列入支持列表。除非您确认其他运行时环境具备相应支持能力，否则应视此二者为NVIDIA/CUDA优先适用的格式。更多详情可查阅vLLM量化技术文档。

​

MXFP4 — gpt-oss的原生格式

MXFP4属于开放计算项目制定的4位微缩放浮点格式，也是OpenAI发布gpt-oss模型时所采用的原生格式。目前Hugging Face平台上已提供gpt-oss-120b与gpt-oss-20b两种预量化完成的MXFP4格式文件，正因如此120b格式模型仅需约80GB存储空间即可运行，20b格式模型也仅需约16GB。Llama.cpp框架已实现对gpt-oss的原生MXFP4位格式支持，vLLM同样具备该功能。相关信息可参见OpenAI发布gpt-oss公告及Llama.cpp对gpt-oss的支持说明。

​

NVFP4 — 仅适用于Blackwell架构

NVFP4是NVIDIA自主研发的4位浮点格式，专为Blackwell架构下的第五代Tensor Core设计（适用于RTX 50系列消费级显卡以及Blackwell代的数据中心GPU）。在NVIDIA的技术博客中，NVFP4被描述为采用两级缩放机制的Blackwell Tensor Core专用格式，它与MXFP4及FP4共同构成了Blackwell Tensor Core原生支持的三种4位格式。如果你的GPU并非Blackwell系列，那么NVFP4并不适合你，建议选用同一模型的GGUF、AWQ或GPTQ版本。详情请参阅NVIDIA — 介绍NVFP4。

​

MLX — 专为Apple Silicon打造

MLX 是 Apple 推出的数组框架，它基于统一内存模型设计，使得数组能够同时被中央处理器与图形处理器访问。经过 MLX 量化的模型格式由 LM Studio 及其他专为 Mac 设计的工具提供，该格式与 GGUF 格式互为补充，专为运行在 macOS 14 及更高版本上的 Apple Silicon 芯片打造。该项目的安装说明明确指出 Apple Silicon 搭配 macOS 才是最主要的支持方案（此外还包含针对该框架本身的实验性 Linux/CUDA 后端，不过这与以 MLX 格式发布的模型文件并无关联）。倘若你并未使用 Mac 电脑，则无法选用 MLX，此时应改用 GGUF。更多详情请参阅 GitHub 上的 MLX 项目 以及 MLX 安装说明。

​

究竟该选择哪种格式呢？

请根据您现有的硬件来选择合适的格式，而非反过来操作。

• NVIDIA 消费级显卡（RTX 40/30 系列或未搭载 Blackwell 架构的旧款显卡） — 若追求最简便的部署方式，可选用 GGUF 格式（适用于 Ollama 与 LM Studio）；若您正在运行 vLLM 并希望充分发挥 GPU 原生内核的性能，则可选用 AWQ 或 GPTQ 格式。
• NVIDIA Blackwell 架构显卡（RTX 50 系列及 Blackwell 架构的数据中心级 GPU） — 上述格式依然适用，不过若上游模型提供了专为该架构设计的 NVFP4 格式版本，建议优先选用，该格式专为 Tensor Cores 优化。
• Apple Silicon 芯片 — 通过 Metal 技术使用 GGUF 格式最为简便且常见；此外还有专为 Mac 定制的 MLX 格式，部分工具如 LM Studio 也同时支持该格式与 GGUF 格式。
• AMD GPU — 可通过 ROCm 或 Vulkan 技术使用 GGUF 格式。目前不同运行环境下对 AWQ/GPTQ 的支持情况并不统一，因此不建议将其作为部署依据。
• 仅使用 CPU — 请选用 GGUF 格式。这是本列表中唯一真正支持纯 CPU 推理的格式，也是 llama.cpp、Ollama 与 LM Studio 所基于的格式。

关于在您所选格式中应挑选哪种量化名称（例如 Q4_K_M 还是 Q8_0），请参阅量化技术详解。如需根据显存容量估算特定模型能否运行，请参阅 GPU 与模型匹配。