로컬 LLM 추론 시 텐서 병렬 처리와 파이프라인 병렬 처리의 비교

When your model does not fit on a single GPU — or you need more throughput than 1 GPU delivers — you split the workload across multiple GPUs. The 2 main strategies are tensor parallelism (TP) and pipeline parallelism (PP). They solve different problems, and picking the wrong one wastes hardware.

간단한 결론

사용 시나리오	적용 전략	선택 이유
단일 노드 환경, 2개 이상의 GPU (DGX Spark 페어, 2대의 RTX 4090)	TP	지연 시간이 적고 GPU 간 대역폭 활용도가 우수함
멀티 노드 환경 (네트워크로 연결된 2대 이상의 머신)	PP	네트워크 지연 시간을 견딜 수 있으며, 각 노드는 모델 조각을 보유합니다
대규모 모델과 높은 동시성 처리	TP와 PP가 결합된 방식	노드 내에서는 TP를, 노드 간에는 PP를 적용합니다
처리량 확장이 가능합니다(많은 사용자 환경에서도 모델이 1 GPU에 적합함)	데이터 병렬화(DP)	모델을 복제한 뒤 요청을 분배합니다

단일 노드 내 다중 GPU 환경에서는 텐서 병렬화를, 다중 노드 환경에서는 파이프라인 병렬화를 사용하세요. 이 규칙이 대부분의 설정에 적용됩니다.

텐서 병렬화에 대한 설명

텐서 병렬화는 각 레이어의 가중치 행렬을 여러 GPU에 분배합니다. 순전파 연산 시 모든 GPU가 행렬 곱셈의 일부분을 동시에 계산한 뒤, 고대역폭 상호연결 기술(NVLink, PCIe, InfiniBand 등)을 통해 동기화됩니다.

Layer N:
  GPU 0: weights[0:50%] × input  ──┐
                                    ├── all-reduce ──→ output
  GPU 1: weights[50:100%] × input ─┘

주요 특성:

각 GPU는 모델의 여러 레이어 중 일부만을 담당합니다
모든 GPU는 각 토큰 처리 시에 활성 상태가 됩니다
고대역폭 인터커넥트가 필수적입니다 (NVLink가 PCIe보다 우수함)
레이어별 동기화 작업이 추가되지만 토큰당 지연 시간은 낮게 유지됩니다
vLLM calls this --tensor-parallel-size

적합한 환경: 2대의 DGX Spark가 200Gb/s QSFP를 통해 연결된 경우, PCIe를 통해 2개의 RTX 4090 GPU가 연결된 경우, 또는 GPU들이 고속 버스를 공유하는 단일 노드 배포 환경에도 적합합니다.

파이프라인 병렬화의 개념 설명

파이프라인 병렬화에서는 각기 다른 레이어들이 각기 다른 GPU에 할당됩니다. GPU 0은 레이어 0부터 15까지를 담당하고, GPU 1은 레이어 16부터 31까지를 처리합니다. 순전파 과정은 조립 라인처럼 진행되는데, GPU 0이 입력 데이터를 처리한 뒤 활성화값을 GPU 1에 전달하여 연속 처리가 이루어집니다

GPU 0: [Layer 0–15]  ──activations──→  GPU 1: [Layer 16–31]  ──→ output

주요 특징들:

각 GPU는 연속된 순서의 레이어들을 담당합니다
한 번에 하나의 토큰에 대해 오직 1개의 GPU만이 활성화되며 나머지 GPU들은 대기 상태이거나 다른 토큰을 처리합니다
인터커넥트 속도가 다소 느려도 문제없습니다. 활성화값의 크기가 전체 가중치 행렬보다 작기 때문입니다
활용률을 낮추기 위한 파이프라인 지연 시간(유휴 시간)을 추가합니다
vLLM calls this --pipeline-parallel-size

적합한 환경: 노드들이 10기가비트 이더넷부터 100기가비트 이더넷 네트워크로 연결된 다중 노드 클러스터나, TP만으로는 처리하기에 모델 크기가 너무 큰 경우입니다

의사결정 매트릭스

전략을 선택하려면 다음 질문들에 답해보세요:

해당 모델이 1개의 GPU에 수용 가능한가요?
- 가능하다면 병렬 처리가 필요하지 않습니다. 더 높은 처리량이 필요할 경우 데이터 병렬 처리를 활용하세요
- 불가능하다면 다음 질문으로 넘어가세요
모든 GPU가 동일한 머신에 있나요?
- 그렇다면 텐서 병렬 처리를 사용하세요 (지연 시간이 줄어들고 디코딩 처리량도 향상됩니다)
- 그렇지 않다면 다음 질문으로 넘어가세요
GPU들이 2대 이상의 머신에 분산되어 있나요?
- 네, 노드 간에 파이프라인 병렬화를 적용할 수 있습니다. 각 노드에 2개 이상의 GPU가 있다면 각 노드 내에서는 TP를 사용하고 노드 간에는 PP를 적용하시면 됩니다.
이 모델은 매우 큰 크기의 모델인가요 (405B 이상)?
- Yes → hybrid TP + PP. Example: TP=2 within each DGX Spark, PP=2 across 2 Sparks.

하드웨어에 따른 권장 사항

하드웨어	GPU	상호 연결 방식	권장되는 전략
2개의 DGX Spark (GB10)	2개가 통합된 형태	200Gb/s 속도의 QSFP	TP=2
2 × RTX 4090	2 개별 GPU	PCIe 4.0	TP=2
2 × RTX 3090	2 개별 GPU	PCIe 4.0	TP=2 (메모리 초과 사용에 주의하세요 — vLLM은 Ollama보다 더 많은 메모리를 점유합니다)
2 노드로 구성된 DGX Spark 클러스터	2 노드들	200Gb/s QSFP	PP=2 (or TP=2 + PP=2 for 405B)
3+ 노드 클러스터	3+ 노드들	10부터 100 기가비트 이더넷	PP는 노드 수를 의미하며 TP는 각 노드 내 GPU 수를 뜻합니다

데이터 병렬 처리와 전문가 병렬 처리

특정 시나리오에서는 다음 두 전략도 중요합니다: 데이터 병렬 처리(DP) — 각 GPU에 전체 모델을 복제한 뒤 들어오는 요청들을 분배합니다. 모델이 이미 1 GPU에 수용 가능하고 더 많은 사용자를 동시에 처리하고자 할 때 활용하세요. vLLM은 이 방식을 기본적으로 지원하므로 로드 밸런서 뒤에 여러 인스턴스를 실행하기만 하면 됩니다. 전문가 병렬 처리(EP) — MoE 모델에 특화된 방식입니다. 각 GPU마다 서로 다른 전문가 그룹이 할당됩니다. 토큰이 특정 전문가로 라우팅되면 해당 활성화 정보가 그 전문가가 있는 GPU로 전송됩니다. TP만으로는 비활성 전문가들로 인해 메모리 낭비가 발생할 수 있는 매우 대형 MoE 모델에 유용합니다.

전략	가장 적합한 용도	지연 시간	처리량	하드웨어 요구 사항
텐서 병렬 처리(TP)	업스트림 모델 ID가 너무 커서 1 GPU가 탑재된 단일 노드로는 처리 불가	낮음	높음	고속 상호연결 기술(NVLink, PCIe)
파이프라인 병렬 처리(PP)	여러 노드를 활용해 매우 큰 모델을 배포하는 방식	더 높음 수준(버블 현상 발생)	중간 수준	네트워크 환경(10GbE 이상)
데이터 병렬 처리(DP)	모델은 적합하나 사용자 수가 더 필요함	단일 GPU 환경과 동일함	선형적으로 확장 가능함	상관없음 — 단지 GPU 개수만 더 필요함
전문가 병렬 처리(EP)	대규모 MoE 모델들	중간 수준	높은 수준	빠른 상호연결 기능

설정 예시들

텐서 병렬 처리를 활용한 vLLM

vllm serve meta-llama/Llama-3.1-70B-Instruct \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.90

For 2× DGX Spark connected via 200Gb/s QSFP:

vllm serve meta-llama/Llama-3.1-70B-Instruct \
  --tensor-parallel-size 2 \
  --distributed-executor-backend ray

텐서 파이프라인 병렬화 기능을 활용한 vLLM

vllm serve meta-llama/Llama-3.1-70B-Instruct \
  --pipeline-parallel-size 2 \
  --tensor-parallel-size 1

하이브리드 TP+PP 방식 (대규모 모델, 다중 노드 환경)

For a 405B model across 2× DGX Spark (TP within each node, PP across nodes):

vllm serve meta-llama/Llama-3.1-405B-Instruct \
  --tensor-parallel-size 2 \
  --pipeline-parallel-size 2 \
  --distributed-executor-backend ray

텐서 병렬화 기능을 갖춘 SGLang

특정 워크로드 환경에서 SGLang은 듀얼 GPU 환경에서도 vLLM과 비슷한 성능을 보입니다:

python -m sglang.launch_server \
  --model-path meta-llama/Llama-3.1-70B-Instruct \
  --tp 2 \
  --port 30000

NCCL 환경 변수 설정 방법

다중 GPU 간 통신을 위해 실행 전에 다음 설정을 적용하세요:

export NCCL_DEBUG=INFO
export NCCL_IB_DISABLE=0          # Enable InfiniBand if available
export NCCL_SOCKET_IFNAME=eth0    # Pin the network interface
export NCCL_NET_GDR_LEVEL=2       # Enable GPUDirect RDMA

On DGX Spark clusters connected via 200Gb/s QSFP, NCCL automatically selects the optimal transport. You typically do not need to override NCCL_IB_DISABLE or NCCL_SOCKET_IFNAME unless you are debugging connectivity issues.

성능 비교 결과

Based on community benchmarks for 70B-class dense models:

최적의 설정 구성 방법	토큰 디코딩 속도 (단일 사용자 기준)	동시 접속 사용자 수 (각 사용자당 5 토큰/초 처리)	참고 사항
1대의 DGX Spark를 사용하되 병렬 처리는 적용하지 않음	~10	2–3	기준값
2대의 DGX Spark에 TP=2 설정 (200Gb/s 속도의 QSFP 인터페이스)	~18	5–8	디코딩 단계에서 거의 선형적인 성능 확장이 가능함
2대의 RTX 4090 GPU에 TP=2 설정 (PCIe 인터페이스 활용)	~20	5–7	PCIe 대역폭 한계로 인해 프리필 작업에 제약이 발생함
2대의 DGX Spark에 PP=2 설정 (네트워크 기반 병렬 처리)	~12	4–6	파이프라인 내 병목 현상으로 인해 자원 활용률이 저하됨

vLLM delivers 5.9× more tokens/s than Ollama at 50 concurrent users on the same hardware. If you serve models to a team, the inference engine matters as much as the parallelism strategy.

병렬 처리를 사용하지 않는 것이 적절한 경우

모든 설정 환경에서 GPU 분할이 이점이 되는 것은 아닙니다:

모델 크기가 1 GPU에 충분히 수용 가능함 — 병렬 처리 시 오버헤드가 발생합니다. 1 GPU에서 데이터 병렬 처리를 활용해 처리량을 높이시기 바랍니다.
소형 모델(7B–13B 크기)을 일반 소비자용 GPU에서 실행할 경우 — 텐서 병렬화의 동기화 오버헤드로 인해 소형 모델에서는 2개 GPU를 사용하는 것이 1개 GPU 사용보다 느려질 수 있습니다. SGLang에서도 이 현상이 뚜렷하게 나타납니다.
단일 사용자용 추론 작업 — 모델 크기가 GPU 용량을 초과하지 않는 한 1 GPU만으로도 구성이 간단하며 속도도 더 빠른 경우가 많습니다.
노드 간 네트워크 속도가 10GbE 이하일 때 — 네트워크 속도가 느리면 파이프라인 병렬 처리가 원활하지 않습니다. 반드시 네트워크 환경부터 업그레이드하시기 바랍니다.

흔히 발생하는 문제들의 해결 방법

vLLM을 사용할 때 다중 GPU 환경에서 메모리 부족 현상 발생

vLLM reserves memory for CUDA graphs and KV cache aggressively. On 2× RTX 3090 (48GB total), a 32B model may OOM even though Ollama handles it fine. Reduce --gpu-memory-utilization from the default 0.90:

vllm serve your-model \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.80

NCCL 연결 실패 현상

GPU 간 통신이 불가능할 경우 다음 사항을 확인해보시기 바랍니다:

nvidia-smi topo -m — NVLink 또는 PCIe 토폴로지 상태를 점검하시기 바랍니다
NCCL_DEBUG=INFO — NCCL이 선택한 전송 방식이 무엇인지 확인하시기 바랍니다
Firewall rules on port 29500 (default NCCL rendezvous port)

서로 다른 종류의 GPU 혼용

vLLM은 이기종 GPU 환경도 지원하지만, 전체 처리 속도는 가장 느린 GPU에 의해 결정됩니다. 최상의 성능을 얻으려면 사양이 동일한 GPU를 사용하는 것이 좋습니다. 혼용해야 할 경우 파이프라인 병렬화 기능을 활용해 더 빠른 GPU에 레이어를 더 많이 할당하시기 바랍니다.

Tokios를 통해 멀티 GPU 배포 환경을 외부에 공개하기

TP나 PP 방식을 사용하든 둘 다 사용하든, vLLM 또는 SGLang 서버는 localhost에서 OpenAI 호환 /v1 API를 제공합니다. 동일한 머신에서 Tokios 커넥터를 실행하면 인바운드 포트를 열지 않고도 어떤 기기나 에이전트, 팀원도 해당 배포 환경에 접근할 수 있습니다.

# Start vLLM with tensor parallelism
vllm serve your-model --tensor-parallel-size 2

# Pair the Tokios connector
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

전체 설정 절차는 vLLM 원격 접속 가이드를 참고해 주세요.

다음 단계

모델 서비스 운영 및 확장

추론 엔진이 메모리, 배치 처리, KV 캐시를 어떻게 관리하는지 이해하기

DGX Spark 활용 사례

DGX Spark 또는 2-Spark 클러스터에 Tokios를 설치해 보세요.

vLLM 원격 접속 방법

어디서든 vLLM 서버를 안전하게 공개할 수 있습니다.

양자화 가이드

병렬 처리를 활용하기 전에 GPU 수를 줄일 수 있도록 모델 크기를 축소해 보세요.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

로컬 LLM 추론 시 텐서 병렬 처리와 파이프라인 병렬 처리의 비교

간단한 결론

텐서 병렬화에 대한 설명

파이프라인 병렬화의 개념 설명

의사결정 매트릭스

하드웨어에 따른 권장 사항

데이터 병렬 처리와 전문가 병렬 처리

설정 예시들

텐서 병렬 처리를 활용한 vLLM

텐서 파이프라인 병렬화 기능을 활용한 vLLM

하이브리드 TP+PP 방식 (대규모 모델, 다중 노드 환경)

텐서 병렬화 기능을 갖춘 SGLang

NCCL 환경 변수 설정 방법

성능 비교 결과

병렬 처리를 사용하지 않는 것이 적절한 경우

흔히 발생하는 문제들의 해결 방법

vLLM을 사용할 때 다중 GPU 환경에서 메모리 부족 현상 발생

NCCL 연결 실패 현상

서로 다른 종류의 GPU 혼용

Tokios를 통해 멀티 GPU 배포 환경을 외부에 공개하기

다음 단계

모델 서비스 운영 및 확장

DGX Spark 활용 사례

vLLM 원격 접속 방법

양자화 가이드

​간단한 결론

​텐서 병렬화에 대한 설명

​파이프라인 병렬화의 개념 설명

​의사결정 매트릭스

​하드웨어에 따른 권장 사항

​데이터 병렬 처리와 전문가 병렬 처리

​설정 예시들

​텐서 병렬 처리를 활용한 vLLM

​텐서 파이프라인 병렬화 기능을 활용한 vLLM

​하이브리드 TP+PP 방식 (대규모 모델, 다중 노드 환경)

​텐서 병렬화 기능을 갖춘 SGLang

​NCCL 환경 변수 설정 방법

​성능 비교 결과

​병렬 처리를 사용하지 않는 것이 적절한 경우

​흔히 발생하는 문제들의 해결 방법

​vLLM을 사용할 때 다중 GPU 환경에서 메모리 부족 현상 발생

​NCCL 연결 실패 현상

​서로 다른 종류의 GPU 혼용

​Tokios를 통해 멀티 GPU 배포 환경을 외부에 공개하기

​다음 단계

모델 서비스 운영 및 확장

DGX Spark 활용 사례

vLLM 원격 접속 방법

양자화 가이드

간단한 결론

텐서 병렬화에 대한 설명

파이프라인 병렬화의 개념 설명

의사결정 매트릭스

하드웨어에 따른 권장 사항

데이터 병렬 처리와 전문가 병렬 처리

설정 예시들

텐서 병렬 처리를 활용한 vLLM

텐서 파이프라인 병렬화 기능을 활용한 vLLM

하이브리드 TP+PP 방식 (대규모 모델, 다중 노드 환경)

텐서 병렬화 기능을 갖춘 SGLang

NCCL 환경 변수 설정 방법

성능 비교 결과

병렬 처리를 사용하지 않는 것이 적절한 경우

흔히 발생하는 문제들의 해결 방법

vLLM을 사용할 때 다중 GPU 환경에서 메모리 부족 현상 발생

NCCL 연결 실패 현상

서로 다른 종류의 GPU 혼용

Tokios를 통해 멀티 GPU 배포 환경을 외부에 공개하기

다음 단계