양자화 설명

양자화는 모델의 가중치를 더 낮은 수치 정밀도로 저장하여 모델 크기를 줄입니다. 이로 인해 품질이 약간 희생되지만 메모리 사용량이 훨씬 줄어들고 종종 추론 속도가 빨라집니다. 이는 모델이 하드웨어에 맞는지 여부를 결정하는 가장 큰 요소입니다.

​

작동 원리

모델의 가중치는 숫자에 불과합니다. 학습된 모델은 일반적으로 16비트 정밀도(FP16 또는 BF16)로 출시되며, 파라미터당 2바이트를 사용합니다. 양자화는 이러한 숫자를 더 적은 비트로 반올림합니다. 8비트는 파라미터당 1바이트를 사용하고, 4비트(Q4)는 약 절반 바이트를 사용합니다. 가중치당 비트 수가 적을수록 저장해야 할 데이터가 적고, 생성된 토큰마다 메모리를 통해 이동해야 할 데이터도 적어집니다. 이것이 양자화된 모델이 더 작을 뿐만 아니라 종종 더 빠르게 실행되는 이유입니다. 참고로 추론 작동 방식에서 알 수 있듯이, 디코딩 속도는 원시 연산량이 아니라 가중치가 메모리를 통과하는 속도에 의해 제한됩니다. 이러한 트레이드오프는 정밀도 손실입니다. 가중치를 더 적은 비트로 반올림하면 작은 오류가 발생하며, 이는 모델의 레이어 전체에 걸쳐 누적되어 공격적인 양자화 수준에서 출력 품질에 측정 가능한 영향을 미칠 수 있습니다. 정확한 바이트당 파라미터 수와 이에 기반한 크기 계산 수식에 대해서는 메모리 및 오프로딩을 참조하세요.

​

GGUF 양자화 이름 읽기

이러한 백엔드용으로 배포되는 파일은 llama.cpp 기반 백엔드(Ollama 및 LM Studio 포함)에서 GGUF 형식을 사용하며, 양자화된 변형은 llama.cpp 양자화 README 및 GGUF 형식 사양에 문서화된 명명 규칙을 따릅니다. 일반적인 파일명은 Qwen3-8B-Instruct-Q4_K_M.gguf와 같으며, .gguf 바로 앞의 마지막 세그먼트가 양자화 정보를 나타냅니다. 양자화 이름은 Q2_K(가장 작고 품질이 낮음)에서 Q8_0(가장 크고 거의 손실 없음)까지 대략적으로 나뉩니다: 따라서 Q4_K_M은 다음과 같이 해석됩니다: 4비트, K-양자화 계열, 중간 변형. GGUF Q4_K_M은 혼합 정밀도이며, 실제로는 파라미터당 약 0.5–0.56바이트로 평균화됩니다. 모든 텐서에 걸쳐 평탄하게 4비트를 사용하는 것은 아닙니다.

​

크기/품질 트레이드오프

양자화 단계가 낮아질수록 메모리가 절약되고 종종 속도가 약간 빨라지지만, 출력 품질에는 일부 비용이 발생합니다. 이러한 관계는 선형적이지 않습니다. 품질은 약 4비트까지 잘 유지되지만, 그 아래로 내려가면 더 뚜렷하게 저하됩니다:

• Q8_0: 완전한 16비트 품질과 매우 유사합니다. VRAM이 여유롭고 가장 안전한 품질 마진을 원할 때 사용하세요.
• Q4_K_M: 일반적인 기본값입니다. 대부분의 일반 사용에 크기과 품질의 좋은 균형을 제공합니다.
• Q2_K–Q3_K: 가장 작고 VRAM 친화적이지만 품질이 뚜렷하게 낮습니다. 다른 옵션이 맞지 않는 경우에만 예약하세요.

​

어떤 양자화를 선택해야 할까요?

일반적인 규칙으로: 시작은 Q4_K_M. 이는 대부분의 모델 저장소에서 강조하는 기본값이며, 그 이유는 소비자 하드웨어에 편안하게 맞으면서도 대부분의 작업에서 완전 정밀도 출력 품질에 가깝게 유지되기 때문입니다. 그 후:

• 더 높게 (Q5_K_M, Q6_K, Q8_0) 이동하세요: 목표 컨텍스트 길이에서 KV 캐시를 고려한 후 VRAM에 여유가 있는 경우.
• 더 낮게 (Q3_K, Q2_K) 이동하세요: Q4_K_M이 실제로 맞지 않고 다른 옵션이 없는 경우에만 — 특히 사고 중심 또는 코딩 작업에서 뚜렷한 품질 저하를 예상하세요.

다운로드하기 전에 주어진 모델 및 양자화 조합이 하드웨어에 맞는지 확인하려면 GPU 모델 적합 가이드를 사용하세요.

​

양자화 인식 학습 (QAT)

위 내용은 모두 학습 후 양자화 (PTQ)를 설명합니다 — 완성된 모델을 한 번에 양자화하는 것입니다. 양자화 인식 학습 (QAT)은 대신 학습 중 낮은 정밀도를 시뮬레이션하여, 가중치가 반올림을 견디고 동일한 비트 폭에서 품질을 더 잘 유지하도록 학습합니다. Google은 Gemma에 대해 -it-qat 태그와 함께 QAT 체크포인트를 출시합니다 — 예를 들어 ollama run gemma4:12b-it-qat — 이는 BF16 VRAM의 약 네 분의 일 크기로 완전 정밀도 품질에 가깝게 유지됩니다. QAT 체크포인트는 여전히 GGUF로 출시됩니다: QAT는 가중치가 만들어지는 방식이지 다른 형식이 아닙니다.

​

더 깊이 알아보기

​

양자화를 선택하고 실행한 후

양자화를 선택하면 모델이 하드웨어에 맞게 잘 실행됩니다. 로컬에서 요청에 응답하기 시작하면, 다음 단계는 해당 단일 머신이 아닌 다른 곳에서 이를 도달하는 것입니다.