Q4_K_M, INT4, FP8과 같이 비트 수와 데이터 패킹 방식을 의미하며 양자화 설명에서 자세히 다룹니다. 둘째는 양자화 형식으로 GGUF, AWQ, NVFP4과 같이 파일 형식과 실행 시 사용되는 커널을 의미하며, 이에 따라 어떤 하드웨어에서 사용 가능한지가 결정됩니다. 이 페이지는 후자에 초점을 맞추고 있습니다. 아래 목록에서 원하는 항목을 선택하면 필요한 하드웨어 정보를 얻을 수 있습니다.
매트릭스
† vLLM의 하드웨어 지원 표에는 AWQ가 x86/Arm CPU에서 별도의 코드 경로를 통해 지원된다고 명시되어 있으나 GPTQ에 대해서는 언급이 없습니다. 실제로는 두 포맷 모두 GPU 중심 형식으로 간주됩니다. ‡ vLLM의 호환성 표에 따르면 AWQ와 GPTQ는 AMD GPU에서 지원되지 않는 것으로 표시되어 있습니다. 이는 vLLM 런타임의 제한 사항일 뿐, 모든 AWQ/GPTQ 커널이 전반적으로 지원되지 않는다는 의미는 아닙니다. § 블랙웰 이전 세대의 NVIDIA GPU는 NVFP4에 필요한 텐서 코어 지원 기능이 없으며, 이는 단순히 드라이버 문제만은 아닙니다. ** MLX의 핵심 PyPI 패키지는 애플 실리콘 및 macOS를 대상으로 합니다. 프로젝트 측에서는 프레임워크 자체를 위한 실험적인 리눅스 CUDA 백엔드도 제공하고 있으나, Hugging Face에서 찾을 수 있는 MLX 양자화 모델 파일들은 애플 메탈 경로용으로 제작된 것입니다.
위에 언급된 모든 내용의 출처는 아래 주석에 명시되어 있습니다.
각 포맷별 설명
GGUF — 가장 범용적으로 사용되는 기본 포맷
GGUF은 llama.cpp의 모델 포맷으로, Ollama와 LM Studio 역시 내부적으로 이 포맷을 사용합니다. 이 포맷은 CPU, 애플 메탈, NVIDIA CUDA, AMD ROCm(HIP 경유), 그리고 Vulkan에서도 실행 가능합니다. llama.cpp의 빌드 문서에는 이러한 모든 백엔드용 빌드 타겟이 명시되어 있으므로 GGUF은 일반 사용자용 하드웨어 환경에서 가장 범용적인 포맷이라 할 수 있습니다. 본인의 하드웨어가 무엇을 지원하는지 확신이 서지 않는다면 GGUF이 안전한 기본 선택지가 됩니다. 자세한 내용은 llama.cpp 및 GGUF 사양을 참고하시기 바랍니다.
bf16 / FP16 — 기준 형식입니다
bf16 and FP16 store each parameter in 2 bytes with no compression. This is the precision quantization compresses from — every Q4, AWQ, or NVFP4 file is a smaller, lossier version of a bf16/FP16 original. Treat support as framework-dependent: CUDA and ROCm serving stacks commonly support these precisions when you have enough memory, while CPU, Metal, and Vulkan paths depend on the runtime and are often impractical for large models. At roughly 4x the footprint of a 4-bit quantization, bf16/FP16 is rarely what you run locally on consumer hardware. See GPU-to-model fit for the memory math.
AWQ와 GPTQ — GPU 중심의 vLLM 전용 형식입니다
AWQ와 GPTQ은 GPU 추론을 위해 설계된 4비트 양자화 형식이며, vLLM은 이 두 형식을 모두 지원하고 문서화하는 런타임입니다. vLLM의 하드웨어 호환성 표에 따르면 두 형식 모두 NVIDIA GPU(Volta부터 Hopper까지, GPTQ는 Volta에서도 지원)에서 실행 가능합니다. 하지만 AMD GPU에서는 지원되지 않습니다. 따라서 특별히 다른 런타임 환경을 확인하지 않는 한 이 형식들은 NVIDIA/CUDA 환경을 전제로 간주해야 합니다. 자세한 내용은 vLLM의 양자화 문서를 참조하세요.
MXFP4 — gpt-oss의 기본 형식입니다
MXFP4은 Open Compute Project에서 제정한 4비트 부동소수점 형식으로, OpenAI가 gpt-oss를 배포할 때 사용한 기본 형식입니다. gpt-oss-120b 및 gpt-oss-20b 모델 역시 MXFP4 형식으로 사전 양자화된 상태로 Hugging Face에 공개되어 있어, 120b 모델은 약 80GB, 20b 모델은 약 16GB의 메모리만으로 실행 가능합니다. llama.cpp 역시 gpt-oss에 대한 MXFP4 형식 지원을 추가했으며, vLLM도 이를 지원합니다. 관련 정보는 OpenAI — gpt-oss 소개 및 llama.cpp의 gpt-oss 지원 안내를 참고하시기 바랍니다.
NVFP4 — 블랙웰 전용 기능입니다
NVFP4 is NVIDIA’s own 4-bit floating-point format, purpose-built for the fifth-generation Tensor Cores in the Blackwell architecture (RTX 50 series consumer cards and Blackwell-generation datacenter GPUs). NVIDIA’s own technical blog describes NVFP4 as a Blackwell Tensor Core format using a two-level scaling scheme, and positions it alongside MXFP4 and FP4 as the three 4-bit formats Blackwell’s Tensor Cores support natively. If your GPU predates Blackwell, NVFP4 isn’t the format for you — look for a GGUF, AWQ, or GPTQ build of the same model instead. See NVIDIA — Introducing NVFP4.
Hugging Face에 등록된 다수의
NVFP4 모델 저장소는 nvidia/ 조직명 아래에 분류되어 있습니다(예: ...-NVFP4 접미사가 붙은 모델들). 이러한 명명 방식은 Blackwell 세대 하드웨어가 없으면 해당 모델의 최적 성능을 기대할 수 없음을 시사하므로, 구형 GPU를 사용하시는 경우 모델 정보 페이지를 꼭 확인하시기 바랍니다.MLX — Apple Silicon 전용 프레임워크입니다
MLX은 Apple에서 개발한 배열 처리 프레임워크로, CPU와 GPU 간에 공유 메모리를 활용하는 통합 메모리 모델을 기반으로 합니다. MLX-양자화된 모델들은 GGUF 형식과 함께 LM Studio 및 기타 Mac 전용 도구에서 제공되며, macOS 14 이상에서 Apple Silicon 기반 시스템을 대상으로 합니다. 해당 프로젝트의 설치 안내서에 따르면 Apple Silicon + macOS가 주요 지원 환경이며, Linux/CUDA 기반 백엔드 역시 실험적으로 제공되고 있습니다(이 백엔드는 MLX 형식으로 배포되는 모델 파일과는 별개입니다). Mac을 사용하지 않는 경우 MLX 형식은 선택할 수 없으니 GGUF 형식을 대신 사용하시기 바랍니다. 자세한 내용은 GitHub의 MLX 페이지 및 MLX 설치 안내서를 참고하세요.
어떤 형식을 선택해야 할까요?
이미 보유하고 있는 하드웨어에 맞춰 형식을 선택해야지, 그 반대가 아니라는 점을 명심하세요.- NVIDIA 소비자용 그래픽 카드 (RTX 40/30 시리즈 또는 블랙웰 기술이 적용되지 않은 구형 카드) — 가장 간편한 방법을 원한다면
GGUF을 선택하세요 (Ollama, LM Studio 사용 시). 혹은 vLLM을 실행하면서 GPU 네이티브 커널의 추가 처리 성능을 활용하고 싶다면AWQ/GPTQ을 고려해보세요. - NVIDIA 블랙웰 기술이 적용된 제품 (RTX 50 시리즈 또는 블랙웰 기반 데이터센터용 GPU) — 위에 언급된 모든 방법이 여전히 사용 가능합니다. 다만 업스트림 모델 ID가 제공하는
NVFP4형식을 찾아보세요; 이 형식이 바로 텐서 코어에 최적화된 포맷입니다. - Apple Silicon —
GGUF을 이용하는 것이 가장 간단하고 일반적인 방법입니다 (Metal 기술 활용). 또한MLX은 Mac 전용 대안으로, 일부 도구들(예: LM Studio)에서는GGUF과 함께 제공되기도 합니다. - AMD GPU — ROCm 또는 Vulkan을 통해
GGUF을 활용할 수 있습니다. 다만 AMD 환경에서 AWQ/GPTQ 기능의 지원 수준은 실행 환경마다 다르므로 이를 기반으로 계획을 세우지는 마세요. - CPU만 사용하는 경우 —
GGUF이 유일한 선택지입니다. 이 형식만이 실제로 CPU 기반 추론을 지원하며, llama.cpp, Ollama, LM Studio 모두 이 포맷을 기반으로 작동합니다.
Q4_K_M 혹은 Q8_0), 양자화 설명을 참고하세요. 특정 모델이 자신의 VRAM 용량에 적합한지 확인하려면 GPU와 모델의 호환성을 살펴보시기 바랍니다.
안정적인 엔드포인트로 만들기
양자화된 모델이 로컬 환경에서 실행된다면 — 어떤 형식이든 상관없이 — Tokios는 실행 방식에 아무런 변화를 주지 않습니다. 대신 어디서든 동일한 로컬 배포 환경에 접근할 수 있도록 안정적이고 인증이 필요한 API 엔드포인트를 제공해줍니다.