ollama run qwen3.6, a lot is hidden from you. The moment you open a model page’s advanced Run it tab and see a line like vllm serve … --tensor-parallel-size 8 --enable-expert-parallel, you meet a new vocabulary. This page explains those words — what each one does and when you’d actually need it.
Ollama나 LM Studio를 통해 단일 GPU(또는 Mac)에서 모델 하나만 실행한다면 이 내용 대부분을 건너뛰어도 됩니다. 병렬 처리와 커널은 모델 크기가 단일 GPU 용량을 초과하거나 다수의 사용자에게 동시에 서비스를 제공해야 할 때 중요해집니다. 모델 페이지의 고급 탭에서 이곳으로 안내받았다면 이 내용을 읽어보세요.
인퍼런스 프레임워크
An inference framework is the engine that loads the model, runs the math, manages batching and the KV cache, and exposes an API. They trade ease of use for control:
초보자용으로는 각 모델 페이지에서 Ollama와 LM Studio가 적합합니다. 그 외의 도구들은 아래에 설명된 설정들을 제공합니다. Tokios는 이들 모든 도구와 연결되며, 사용 중인 프레임워크가 제공하는 OpenAI 호환
/v1으로 요청을 전달합니다.
정밀도
Precision is how many bits the runtime uses to store and compute each number in the model —FP32 (32-bit), FP16/bf16 (16-bit), FP8 (8-bit), or 4-bit formats. Fewer bits means less memory and faster data movement, at some risk to quality. This is the same idea as quantization — precision is the knob, quantization is turning it down. Which low-precision format your hardware can actually run is a separate question, answered in Quantization formats and the hardware they need.
커널
A kernel is the small, highly optimized GPU (or CPU) routine that performs one hot operation — a matrix multiply, an attention step, dequantizing a 4-bit weight, sampling the next token. You rarely name kernels directly, but they explain two things you do see:- 왜 양자화 형식마다 특정 하드웨어가 필요한가. 어떤 형식이 빠르게 작동하려면 해당 런타임이 사용 중인 칩에서 그 형식을 인식할 수 있는 커널을 제공해야 합니다.
NVFP4은 Blackwell Tensor Core 커널이 필요하며,GGUF은 llama.cpp가 CPU, Metal, CUDA, ROCM, Vulkan용 커널을 제공하므로 폭넓게 사용됩니다. 자세한 내용은 양자화 형식과 필요한 하드웨어를 참고하십시오. - 왜 “FlashAttention”이 자주 언급되는가. FlashAttention은 긴 문맥 처리 시 메모리를 절약해주는 더 빠른 어텐션 커널입니다. 런타임에서 이 기능이 활성화되었다고 표시된다면 이는 사용자를 위해 선택된 커널임을 의미합니다.
여러 GPU에서의 실행 — 병렬 처리
모델의 크기가 하나의 GPU로는 감당할 수 없거나, 하나의 GPU로는 충분한 트래픽을 처리할 수 없을 때 런타임은 작업을 여러 GPU에 분배합니다. 일반적으로 네 가지 전략이 존재하며 각각 다른 문제를 해결합니다.- 텐서 병렬 처리는 각 레이어의 행렬을 여러 GPU에 나누어 할당한 뒤 모든 순전파 단계에서 결과를 결합합니다. 이 방식은 각 GPU의 메모리 사용량을 줄여주지만, GPU들 간의 지속적인 통신이 필요하므로 NVLink와 같은 고속 인터커넥트가 필수적입니다.
- 파이프라인 병렬 처리는 여러 레이어를 각기 다른 GPU에 할당하는 방식으로, 마치 공장의 생산 라인과 유사합니다. 이 방법은 다수의 장치에 걸쳐 확장이 가능하지만, 앞선 단계에서 결과가 나올 때까지 GPU가 대기 상태에 머물 수 있습니다.
- 데이터 병렬 처리는 동일한 모델을 여러 번 독립적으로 실행하는 방식입니다. 이미 메모리에 수용하기 어려운 크기의 모델에는 별다른 도움이 되지 않으며, 단지 동시에 처리할 수 있는 요청 수를 늘리는 용도로만 활용됩니다.
- 전문가 병렬 처리는 오직 MoE 모델에만 적용됩니다. 각 전문가를 모든 GPU에 복제하는 대신, 각 GPU가 일부 전문가만을 보유하게 하고 토큰을 해당 전문가가 있는 GPU로 라우팅합니다. 대규모 MoE 모델에 매우 유용하지만 라우팅에 따른 오버헤드가 발생합니다.
스펙큘레이티브 디코딩과 MTP
Decode is slow because the model reads its weights from memory for every single token. Speculative decoding speeds it up without changing the output: a fast “draft” proposes several tokens at once, then the full model verifies them in one pass and keeps the ones it agrees with. Because verification is cheaper than generating from scratch, you get more accepted tokens per memory read. Multi-token prediction (MTP) is one way to produce those drafts. The model ships extra heads trained to predict the next few tokens, so it can draft and verify itself. The currentDeepSeek-V4-Flash-0731 release bundles a DSpark module in the same checkpoint. Its official model card documents method: dspark for vLLM and DSPARK for SGLang, so you do not configure a separate draft-model path.
참고 자료: DeepSeek-V4-Flash-0731 모델 설명서, Qwen3.6-27B 모델 설명서, vLLM 스펙큘레이티브 디코딩 가이드.
이 기술들이 어디에 적용되는가
추론 과정의 작동 원리
이 제어 기능들이 최적화하는 프리필/디코드의 기본 원리입니다.
양자화와 하드웨어에 관해 알아보겠습니다.
어떤 정밀도 형식이 사용 중인 칩에서 실행 가능한지 확인해보세요.
어떤 크기의 모델이 GPU에 적합한지 알아보세요.
여러 개의 GPU를 사용하기 전에 모델의 크기를 먼저 결정해보세요.
Tokios 엔드포인트 정보를 입력해주세요.
어떤 방식으로 서비스하든 Tokios는 로컬에 위치한
/v1을 어디서든 접근 가능한 안정적이고 인증된 엔드포인트로 변환해줍니다.