용어집

이 문서들에서 사용되는 로컬 모델 관련 용어들에 대한 간략한 정의입니다. 각 항목은 해당 내용을 심층적으로 다루는 페이지로 연결됩니다.

​

토큰

모델이 실제로 읽고 쓰는 아주 작은 텍스트 단위로, 보통 몇 글자 혹은 하나의 단어 조각에 해당합니다. 사용자의 입력문은 모델이 처리하기 전에 토큰 단위로 분할되며, 모델은 답변을 토큰 하나씩 생성해냅니다. 자세한 내용은 추론 작동 원리를 참고하세요.

​

프리필과 디코드

프리필은 모델이 아무런 출력도 내놓기 전에 사용자의 입력문 전체를 한 번에 읽어들이는 과정으로, 연산 부하가 크며 “첫 번째 토큰까지 걸리는 시간”이 이 과정을 측정합니다. 디코드는 모델이 답변을 토큰 하나씩 생성해내는 과정으로, 메모리 대역폭에 의존하며 “초당 생성되는 토큰 수”가 이 과정을 측정합니다. 자세한 내용은 추론 작동 원리를 참고하세요.

​

일반 모델과 혼합형 전문가 모델(MoE)

A dense model runs every parameter on every token. A mixture-of-experts model — named like 30B-A3B, 30B total parameters with 3B active — only runs a subset of “expert” parameters per token, so it decodes faster than a dense model of the same total size, but still needs memory for the full parameter set. See Read a model card.

​

정밀도

정밀도란 모델 내 각 숫자를 저장하거나 연산할 때 사용되는 비트 수를 의미하며, bf16, FP16, FP8, 혹은 4비트 형식 등이 있습니다. 정밀도가 낮을수록 메모리 사용량이 줄고 데이터 처리 속도가 빨라지지만, 양자화 정도가 지나치면 품질 저하가 발생할 수 있습니다. 자세한 내용은 양자화 및 양자화 형식과 필요한 하드웨어를 참고하세요.

​

추론 프레임워크

An inference framework is the serving engine that loads the model, runs the math, manages batching and the KV cache, and exposes an API. Ollama and LM Studio optimize for easy local use; vLLM, SGLang, llama.cpp, TensorRT-LLM, and MLX expose lower-level controls for throughput, parallelism, and hardware-specific kernels. See Serving and scaling.

​

커널

A kernel is the low-level GPU or CPU routine that performs a hot operation such as matrix multiplication, attention, quantized dequantization, or sampling. Quantization formats are only useful when your runtime has kernels that understand them; for example, NVFP4 needs Blackwell Tensor Core support, while GGUF works broadly through llama.cpp backends. See Quantization formats and the hardware they need.

​

텐서 병렬 처리 (TP)

텐서 병렬 처리는 하나의 모델 레이어의 가중치와 연산을 여러 GPU에 분산시키는 방식입니다. 모델 크기가 단일 GPU의 처리 능력을 초과하거나 트래픽 부하가 너무 클 때 유용합니다. 이 방식은 각 GPU의 메모리 부하를 줄여주지만 모든 GPU가 매번 순방향 연산 시 동기화되어야 하므로 고속 인터커넥트가 필수적입니다. vLLM에서는 이를 --tensor-parallel-size으로 구현하며 TensorRT-LLM도 동일한 전략을 TP로 설명합니다. 자세한 내용은 서빙 및 확장성을 참고하십시오.

​

데이터 병렬 처리 (DP)

데이터 병렬 처리는 각 GPU나 인스턴스에서 모델 복사본을 실행하여 서로 다른 요청을 처리하는 방식입니다. 모델 크기가 개별 복사본의 처리 능력 범위 내에 있을 때 요청 처리량을 높일 수 있습니다. vLLM의 데이터 병렬 배포 문서에서는 여러 인스턴스나 GPU에 모델 가중치를 복제하여 독립적인 배치 처리를 수행하는 방식으로 설명합니다. 자세한 내용은 서빙 및 확장성을 참고하십시오.

​

전문가 병렬 처리 (EP)

전문가 병렬 처리는 혼합형 전문가 모델에 적용되는 방식입니다. 모든 GPU에 각 전문가의 복사본을 배치하는 대신 서로 다른 전문가를 각기 다른 GPU에 할당하고 토큰을 해당 전문가가 위치한 GPU로 라우팅합니다. 이 방식은 대규모 MoE 모델의 지역성과 처리량을 향상시킬 수 있으나 라우팅 및 동기화 부하도 발생합니다. 자세한 내용은 서빙 및 확장성을 참고하십시오.

​

다중 토큰 예측 (MTP)

다중 토큰 예측은 하나 이상의 미래 토큰을 예측하는 보조 헤드를 추가하거나 학습시키는 기법입니다. 추론 시 런타임에서는 이러한 예측 결과를 활용해 여러 토큰을 미리 생성한 뒤 대상 모델으로 검증하여 유효한 토큰만 채택하는 방식을 사용할 수 있습니다. 현재 DeepSeek-V4-Flash-0731 체크포인트에는 vLLM에서 method: dspark을 통해 활성화되고 SGLang에서 DSPARK을 통해 활용 가능한 DSpark 스펙큘레이티브 디코딩 모듈이 포함되어 있습니다. 자세한 내용은 서빙 및 확장성을 참고하십시오.

​

툴 호출 기능

모델이 단순한 텍스트가 아닌 외부 함수나 커넥터를 호출하기 위한 구조화된 요청을 반환할 수 있는 기능으로, 이를 통해 에이전트 기반 클라이언트가 실제 행동을 수행할 수 있습니다. 안정적인 툴 호출 기능은 코딩 에이전트 및 기타 자동화 클라이언트를 선택할 때 핵심 기준이 됩니다. 자세한 내용은 어떤 작업에 어떤 로컬 모델을 사용해야 할까?를 참고하세요.

​

온도 값과 탑-p 설정

모델 출력 결과가 얼마나 예측 가능한지 혹은 다양할지를 조절하는 샘플링 설정입니다. 낮은 온도 값을 설정하면 출력 결과가 더 결정론적이고 반복적이 되며, 높은 온도 값을 사용하면 결과가 더 다양해지지만 때로는 일관성이 떨어질 수 있습니다. 탑-p 설정(뉴클리어스 샘플링)은 확률 합계가 p에 도달하는 최소한의 토큰 집합만을 선택하여 가능성이 낮은 옵션들을 제외시킵니다. 이 두 설정 모두 클라이언트가 프롬프트와 함께 전송하는 요청 수준의 매개변수입니다.

​

임베딩

텍스트를 수치 벡터 형태로 표현한 것으로, 대화형 답변 생성보다는 검색, 정보 추출 및 유사도 비교에 활용됩니다. 임베딩 모델은 채팅 모델과는 별개의 도구입니다. 모델 선택 시 이들이 어떤 역할을 하는지 알아보려면 어떤 작업에 어떤 로컬 모델을 사용해야 할까?를 참고하세요.

​

컨텍스트 윈도우

모델이 한 번의 대화에서 프롬프트와 답변 모두를 처리할 수 있는 최대 토큰 수를 의미합니다. 컨텍스트 윈도우가 넓을수록 한 번에 더 많은 텍스트를 전송할 수 있지만 KV 캐시로 인해 메모리 소모가 늘어납니다. 자세한 내용은 KV 캐시와 컨텍스트를 참고하세요.

​

양자화

모델의 가중치를 낮은 수치 정밀도로 저장하여 크기를 줄이고 추론 속도를 높이는 기법으로, 다만 출력 품질에는 약간의 손실이 발생할 수 있습니다. Q4_K_M과 같은 GGUF 양자화 명칭에는 사용된 비트 폭과 양자화 방식이 포함되어 있습니다. 자세한 내용은 양자화를 참고하세요.

​

KV 캐시

모델이 대화를 처리하는 과정에서 생성한 키/값 쌍 정보를 저장해두는 공간으로, 이를 통해 새 토큰을 처리할 때마다 이전 토큰들을 처음부터 다시 계산할 필요가 없게 됩니다. 컨텍스트 길이와 배치 크기에 따라 크기가 커지며 모델 가중치와 함께 메모리에 저장됩니다. 자세한 내용은 KV 캐시와 컨텍스트를 참고하세요.

​

GGUF

Short for GGML Universal File — the file format used by llama.cpp-based backends (including Ollama and LM Studio) to store model weights, typically distributed as several quantized variants of the same model. It succeeds the project’s older GGML/GGJT weight formats, which is why you’ll still see “GGML” in older repos and tooling. See Read a model card and the GGUF format spec.

​

이제 어휘에 관한 내용도 살펴보았으니

로컬에서 모델을 실행하기 시작하면 이런 용어들을 자주 접하게 됩니다. 이 페이지를 즐겨찾기해두고 자주 참고하시길 바랍니다. 모델이 localhost에서 실행되며 요청에 응답하기 시작하면 다음 단계는 다른 기기에서도 그 모델에 접근할 수 있도록 하는 것입니다.