양자화 형식과 필요한 하드웨어

양자화는 정밀도를 크기 및 속도와 교환하며, 두 개의 독립 축이 있습니다. 양자화 이름(Q4_K_M, INT4, FP8 — 몇 비트인지 어떻게 패킹되는지는 양자화 설명에서 다룸)과 양자화 포맷(GGUF, AWQ, NVFP4 — 파일 포맷과 실행 커널로, 어떤 하드웨어에서 로드 가능한지 결정합니다)입니다. 이 페이지는 두 번째 축을 다룹니다. 아래 행을 선택하면 필요한 하드웨어를 알 수 있습니다.

​

매트릭스

† vLLM의 자체 하드웨어 지원 표는 AWQ를 별도 코드 경로를 통해 x86/Arm CPU 지원으로 나열하지만 GPTQ는 그렇지 않습니다. 두 포맷 모두 실제로는 GPU 우선 포맷으로 간주하세요. ‡ vLLM의 호환성 표는 AWQ와 GPTQ를 vLLM 구체적으로 AMD GPU에서 미지원으로 표시합니다. 이것은 vLLM 런타임 제한이지 모든 AWQ/GPTQ 커널에 대한 진술이 아닙니다. § Blackwell 이전 NVIDIA GPU는 NVFP4가 필요로 하는 Tensor Core 지원이 없습니다. 드라이버만의 제한이 아닙니다. ** MLX의 핵심 PyPI 패키지는 Apple Silicon과 macOS를 타겟으로 합니다. 이 프로젝트는 프레임워크 자체에 대한 실험적 Linux CUDA 백엔드도 제공하지만, Hugging Face에서 MLX 포맷으로 배포되는 모델 파일은 Apple Metal 경로용으로 구축되었습니다. 위의 모든 주장에 대한 출처는 아래 노트에 인용되어 있습니다.

​

포맷별 노트

​

GGUF — 이식 가능한 기본값

GGUF는 llama.cpp의 모델 포맷이며 Ollama와 LM Studio가 내부적으로 사용하는 포맷입니다. CPU, Apple Metal, NVIDIA CUDA, AMD ROCm(HIP 경유), Vulkan에서 실행됩니다. llama.cpp의 자체 빌드 문서는 이 모든 백엔드에 대한 전용 빌드 타겟을 나열하며, GGUF를 소비자 하드웨어에서 가장 이식 가능한 포맷으로 만듭니다. 하드웨어가 무엇을 지원하는지 확실하지 않다면 GGUF가 안전한 기본값입니다. llama.cpp 및 GGUF 사양을 참조하세요.

​

bf16 / FP16 — 기본baseline

bf16과 FP16은 각 파라미터를 압축 없이 2바이트에 저장합니다. 이것은 양자화가 압축하는 기준 정밀도입니다. 모든 Q4, AWQ, 또는 NVFP4 파일은 bf16/FP16 원본보다 더 작고 손실이 큰 버전입니다. 지원을 프레임워크 종속적으로 간주하세요. CUDA와 ROCm 서빙 스택은 메모리가 충분할 때 일반적으로 이 정밀도를 지원하지만, CPU, Metal, Vulkan 경로는 런타임에 따라 다르며 큰 모델에는 실제로 실용적이지 않은 경우가 많습니다. 약 4x의 풋프린트로 4-bit 양자화 대비 크기가 큰 bf16/FP16은 소비자 하드웨어에서 로컬로 실행하는 경우가 드뭅니다. 메모리 계산은 GPU-모델 적합도를 참조하세요.

​

AWQ 및 GPTQ — GPU 지향, vLLM의 포맷

AWQ와 GPTQ는 GPU 추론을 위해 구축된 4-bit 양자화 포맷이며, vLLM은 두 포맷에 대한 지원을 문서화하고 유지하는 런타임입니다. vLLM의 하드웨어 호환성 표에 따르면, 둘 다 NVIDIA GPU에서 실행됩니다(Volta부터 Hopper까지, GPTQ는 추가로 Volta에서도 지원). vLLM의 표는 둘 다 AMD GPU에서 지원되지 않는 것으로 표시됩니다. 특정 런타임에 대해 반대로 확인하지 않는 한 NVIDIA/CUDA 우선 쌍으로 간주하세요. vLLM의 양자화 문서를 참조하세요.

​

MXFP4 — gpt-oss의 네이티브 포맷

MXFP4는 Open Compute Project의 Microscaling 4-bit 부동소수점 포맷이며, OpenAI가 gpt-oss를 네이티브로 배포한 포맷입니다. gpt-oss-120b와 gpt-oss-20b 모두 Hugging Face에서 MXFP4로 사전 양자화되어 배포되며, 이로 인해 120b는 약 80GB에서, 20b는 약 16GB에서 실행 가능합니다. llama.cpp는 gpt-oss에 대한 네이티브 MXFP4 지원을 추가했으며 vLLM도 지원합니다. OpenAI — gpt-oss 소개 및 llama.cpp gpt-oss 지원 노트를 참조하세요.

​

NVFP4 — Blackwell 전용

NVFP4는 NVIDIA의 자체 4-bit 부동소수점 포맷으로, Blackwell 아키텍처(RTX 50 시리즈 소비자 카드 및 Blackwell 세대 데이터센터 GPU)의 다섯 번째 세대 Tensor Core를 위해 특별히 구축되었습니다. NVIDIA의 자체 기술 블로그는 NVFP4를 두 단계 스케일링을 사용하는 Blackwell Tensor Core 포맷으로 설명하며, MXFP4와 FP4와 함께 Blackwell의 Tensor Core가 네이티브로 지원하는 세 개의 4-bit 포맷 중 하나로 포지셔닝합니다. GPU가 Blackwell 이전 세대라면 NVFP4는 적합한 포맷이 아닙니다. 같은 모델의 GGUF, AWQ, 또는 GPTQ 빌드를 찾으세요. NVIDIA — NVFP4 소개를 참조하세요.

​

MLX — Apple Silicon

MLX는 Apple의 배열 프레임워크로, CPU와 GPU 간 공유 메모리에 배열이 위치하는 통합 메모리 모델을 중심으로 구축되었습니다. MLX 양자화 모델 — LM Studio 및 기타 Mac 우선 도구들이 GGUF와 함께 제공하는 포맷 — 은 macOS 14 이상의 Apple Silicon을 타겟으로 합니다. 이 프로젝트의 자체 설치 문서는 Apple Silicon + macOS를 기본 지원 경로로 나열합니다(프레임워크 자체에 대한 실험적 Linux/CUDA 백엔드가 있지만, MLX 포맷으로 배포되는 모델 파일과는 별개입니다). Mac을 사용하고 있지 않다면 MLX는 옵션이 아닙니다. GGUF를 사용하세요. MLX on GitHub 및 MLX 설치 문서를 참조하세요.

​

무엇을 선택해야 하나요?

이미 보유한 하드웨어에 포맷을 맞추세요. 그 반대가 아닙니다.

• NVIDIA, 소비자 카드(RTX 40/30 시리즈 또는 이전 Blackwell 비지원 카드) — 가장 쉬운 경로는 GGUF(Ollama, LM Studio), 또는 vLLM을 실행 중이고 GPU 네이티브 커널의 추가 처리량을 원한다면 AWQ/GPTQ.
• NVIDIA Blackwell(RTX 50 시리즈 또는 Blackwell 데이터센터 GPU) — 위의 모든 것이 여전히 작동하지만, 모델에서 게시한다면 NVFP4 빌드를 찾으세요. Tensor Core를 위해 구축된 포맷입니다.
• Apple Silicon — GGUF(Metal 경유)가 가장 간단하고 일반적인 경로입니다. MLX는 일부 도구(LM Studio 등)에서 GGUF와 나란히 제공하는 Mac 네이티브 대안입니다.
• AMD GPU — ROCm 또는 Vulkan을 통한 GGUF. AMD에서 AWQ/GPTQ 지원은 런타임마다 일관성이 없으므로 이를 중심으로 계획하지 마세요.
• CPU 전용 — GGUF. 이 매트릭스에서 실제 CPU 추론 지원을 가진 유일한 포맷이며, llama.cpp, Ollama, LM Studio가 기반으로 구축된 포맷입니다.

어떤 포맷을 선택하든 그 안에서 선택할 양자화 이름(Q4_K_M 대 Q8_0 등)은 양자화 설명을 참조하세요. 특정 모델을 VRAM에 맞추는 것은 GPU-모델 적합도를 참조하세요.