GGUF 파일들과의 관계, 그리고 현재 실행 가능한 QAT 체크포인트에 대해 설명합니다. 양자화의 기초와 Q4_K_M와 같은 명칭의 의미를 알고 싶다면 양자화 설명 페이지를 먼저 참고하시기 바랍니다.
QAT와 훈련 후 양자화(PTQ)의 비교
사용자가 다운로드하는 대부분의 양자화된 모델은 훈련 후 양자화(PTQ) 방식으로 제작됩니다. 즉, 완성된 BF16 모델의 가중치를 더 적은 비트로 반올림한 뒤 배포하는 방식입니다. 이 방법은 속도가 빠르고 재훈련이 필요하지 않지만, 모델이 반올림 오차에 적응할 기회가 없기 때문에 비트 폭을 줄일수록 정확도 저하가 심해집니다. QAT는 훈련 또는 미세조정 과정에 “가짜 양자화” 단계를 삽입합니다. 순전파 단계에서는 가중치들을 목표 비트 폭에 맞춰 반올림 및 제한 처리하지만 실제로는 부동소수점 형태로 유지합니다. 또한 직선 통과 추정기를 통해 계산된 기울기 정보를 활용해 모델이 실제로 저정밀도 형태로 변환되기 전에도 정확도를 유지하도록 학습시킵니다. 가중치들이 양자화 과정을 견딜 수 있도록 최적화되었기 때문에, 동일한 비트 폭 조건에서 QAT로 생성된 체크포인트는 PTQ 체크포인트보다 성능이 우수합니다. 이러한 차이는 수치로도 확인할 수 있습니다.- PyTorch에서 Llama 3-8B 모델의 4비트 가중치에 대해 실시한 실험 결과에 따르면, QAT는 PTQ 대비 HellaSwag 테스트에서 96% 수준의 정확도 저하를 회복시켰으며 WikiText 테스트에서는 68% 수준의 퍼플렉시티 저하를 줄여주었습니다. (PyTorch 블로그)
- Google’s Gemma 3 QAT int4 checkpoints cut the perplexity gap versus the non-quantized model by 54% compared to a naive
Q4_0conversion of the same model. (Google Developers blog)
물론 이러한 회복률은 일정한 수치가 아니며 모델 종류, 비트 폭, 벤치마크에 따라 달라집니다. 위 수치들은 대략적인 경향과 규모를 보여주는 예시일 뿐, 모든 모델에 동일하게 적용된다고 단정할 수는 없습니다.
QAT는 파일 형식이 아니라 하나의 방법론입니다
흔히 “QAT와 GGUF의 비교”라는 오해가 생깁니다. 둘은 서로 대체재가 아니며 각각 다른 질문에 답해줍니다- QAT와 PTQ는 저비트 가중치가 어떻게 생성되었는지를 나타내는 용어입니다 (즉, 훈련 및 양자화 방식을 의미합니다).
GGUFis the container the weights ship in forllama.cpp-based runtimes (Ollama, LM Studio, Jan).
GGUF — and usually is. Google’s release makes this explicit in its naming: google/gemma-4-12B-it-qat-q4_0-gguf is a GGUF file whose Q4_0 weights came out of the QAT pipeline, as opposed to a plain gemma-4-12b-it that Ollama quantized to Q4_0 with ordinary PTQ. Same format, same bit-width — different, higher-fidelity weights inside. So the real comparison is QAT vs PTQ, and GGUF is just how either one reaches your runtime.
Gemma QAT: 실제로 실행 가능한 체크포인트들
이 분야에서 구글은 단연 돋보입니다. 구글은 각 Gemma 모델을 QAT 방식으로 미세 조정한 뒤 바로 실행 가능한 인트4 체크포인트 형태로 공개하고 있습니다. Ollama에서는 이 체크포인트들에-it-qat 태그가 부여됩니다. Gemma 4의 경우(현재 세대 모델입니다 – Gemma 참조):
Sizes are from ollama.com/library/gemma4 — confirm the current tag list there before you standardize on one. Google reports that Gemma 4 QAT yields “higher overall quality compared to standard PTQ baselines.” The well-quantified precedent is Gemma 3, where int4 QAT dropped VRAM roughly 3× — the 27B model from ~54 GB at BF16 to ~14 GB — while staying close to full-precision quality, which is what brought 27B-class models onto a single consumer GPU.
직접 QAT 모델을 미세 조정하기
QAT는 제조사에서 제공하는 체크포인트에만 적용되는 것이 아닙니다. Unsloth는 PyTorch의 TorchAO 팀과 협력하여 자사 미세 조정 라이브러리에 QAT 기능을 추가했습니다.qat_scheme (int4, int8-int4, fp8-int4, 또는 fp8-fp8) 매개변수를 지정하면 LoRA 미세 조정 과정에서 가상 양자화가 자동으로 수행되며, 이후 저비트 형식으로 모델을 내보낼 수 있습니다. Unsloth 측에 따르면 이 방식은 단순 양자화로 인해 손실되는 정확도의 약 ~70% 정도를 회복시켜주며, 추론 시 추가 부하도 없고 디스크 저장 공간 역시 일반 양자화와 동일합니다.
This is the practical path for the popular open models that don’t ship official QAT checkpoints — Qwen, for example, has no first-party QAT release, but its models are a common base for community QAT recipes built on Unsloth and TorchAO. If you fine-tune and serve your own QAT model, serve your fine-tune covers exporting it to a runtime, and Tokios connects it from there.
어디서든 자신의 QAT 모델을 실행하기
QAT를 활용하면 실제 보유한 하드웨어에 최적화된 고품질 모델을 만들 수 있습니다. Ollama, LM Studio, vLLM, llama.cpp 등에서 해당 모델이 로컬로 실행된다면, 다음 단계는localhost 정보를 외부에 노출하지 않은 채 에이전트, 애플리케이션, 팀원들이 해당 모델에 접근할 수 있도록 하는 것입니다.
안정적인 엔드포인트 제공하기
Tokios는 모델 선택, 호스팅, 미세 조정 작업을 수행하지 않습니다. 사용자가 로컬 환경에서 QAT 모델을 실행한 뒤에는 Tokios가 이를
https://api.tokios.com 주소를 가진 안정적이고 인증 기반의 엔드포인트로 전환해주며, 어디서든 이를 호출할 수 있게 해줍니다.보다 심층적인 내용 알아보기
양자화에 대한 설명
양자화의 작동 원리와
GGUF 명칭 중에서 Q4_K_M와 같은 이름을 읽는 방법을 알아보겠습니다.Gemma를 로컬 환경에서 실행하기
Gemma 4의 크기, 하드웨어 호환성 및 다양한
-it-qat 양자화 형태에 대해 알아보겠습니다.양자화와 하드웨어의 관계
GGUF, NVFP4, MXFP4, AWQ, MLX 등 어떤 가중치 형식이 사용 중인 하드웨어에서 작동하는지 확인해보세요.
어떤 크기의 모델이 사용 중인 GPU에 적합할까요?
모델과 양자화 형식의 조합이 적합한지 다운로드 전에 미리 확인해보세요.