하나의 DGX 스파크와 두 개의 DGX 스파크 — 언제 확장해야 하며 어떻게 설정하는가

​

간단한 결론

​

When 1 Spark is enough

• Your model fits at a reasonable quantization. Dense models up to 70B at NVFP4 (~35 GB) or MoE models up to 120B at NVFP4 (~60 GB) load on a single node with room for KV cache.
• 귀하는 1명부터 5명까지의 사용자에게 서비스를 제공할 수 있습니다. 싱글-스파크 추론 기능은 35B MoE 수준에서 소규모 팀의 워크로드를 처리합니다. 70B 밀집형 배포 환경에서는 최대 5명에서 10명 정도의 사용자만 지원 가능합니다.
• 모델 크기보다 지연 시간이 더 중요한 경우 단일 Spark 환경에서는 텐서 병렬화로 인해 발생하는 노드 간 통신 오버헤드가 전혀 없습니다. 35B 규모의 MoE 모델을 사용할 때 단일 노드에서 47~50 토큰/초의 속도를 얻을 수 있어 실시간 코딩 에이전트나 채팅 서비스에 적합합니다.
• 간단한 작업을 원하신다면. 1 머신, 1 런타임, 1 단일 실패 지점만 존재합니다. 네트워크 설정도, 분산 배포도, NCCL 디버깅도 필요하지 않습니다.

​

When you need 2 Sparks

• 양자화된 모델 크기가 128 GB를 초과하지만 런타임 및 KV 캐시 공간을 고려해도 256 GB 미만으로 수용 가능한 경우 DeepSeek-V4-Flash-0731 모델이 그 예시이며, 공개된 최소 가중치 크기는 162–167 GB GB입니다.
• 이미 분산 서비스 환경에서 검증된 모델에 더 많은 KV 캐시 용량이나 높은 동시 접속 수가 필요한 경우 텐서 병렬화를 활용하면 메모리 부하를 분산할 수 있으나 처리 속도가 비례적으로 증가한다는 보장은 없습니다.
• 이제 네트워크 환경에서 런타임을 벤치마킹할 준비가 되었습니다. 통신 오버헤드와 모델 아키텍처가 최종 결과를 결정합니다.

​

200 Gbps QSFP 링크 설정 방법

ip link show

ethtool <qsfp-interface> | grep Speed

sudo ip addr add 10.0.0.1/24 dev <qsfp-interface>

sudo ip addr add 10.0.0.2/24 dev <qsfp-interface>

ping 10.0.0.2   # from Spark A
ping 10.0.0.1   # from Spark B

export NCCL_SOCKET_IFNAME=<qsfp-interface>
export NCCL_IB_DISABLE=0
export NCCL_NET_GDR_LEVEL=2

​

Tensor parallelism across 2 Sparks

​

분산형 모델을 실행합니다

vllm serve <your-distributed-model> \
  --tensor-parallel-size 2 \
  --quantization fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --distributed-executor-backend ray

​

Model examples for 2 Sparks

​

파이프라인 병렬화의 활용 시점

• 모델 구조상 텐서 병렬화가 적용되지 않는 경우
• 귀하는 2개 이상의 스파크를 연쇄적으로 연결하고 있으며, 각 홉마다 발생하는 통신 오버헤드를 줄이고자 합니다.

vllm serve <model> \
  --pipeline-parallel-size 2 \
  --tensor-parallel-size 1

​

여러 Spark 간의 네트워크 요구 사항

​

비용 대 효과 분석

​

두 번째 Spark가 실질적인 효과를 내는 시점

• 측정된 가중치와 KV 캐시 계획이 적용된 분산형 모델이 필요합니다. 예를 들어 DeepSeek-V4-Flash-0731 모델은 2 개의 노드가 필요하며 커뮤니티에서 검증된 설정으로 시작됩니다.
• 측정된 처리량이나 동시 접속 수가 두 번째 Spark 도입으로 충분히 증가하여 그만한 가치가 있다고 판단되는 팀에 모델을 제공할 때입니다.
• 지연 시간에 민감한 워크로드를 120B 모델에서 실행할 때입니다. 두 개의 Spark를 활용하면 추가 KV 캐시 공간을 확보하여 더 긴 컨텍스트를 처리하거나 더 많은 사용자를 수용할 수 있습니다.

​

그렇지 않은 경우

• Your model is ≤70B and your team is small. One Spark at 47-50 tok/s on a 35B MoE model is already faster than most people type. A second Spark adds cost and complexity for no user-visible improvement.
• 이미 메모리에 맞는 MoE 모델들을 실행할 수 있습니다. GLM-4.5-Air, Qwen3.5-122B, 그리고 Nemotron-3-Super-120B 모델들은 모두 NVFP4 환경의 단일 Spark 노드에 적합합니다. 두 노드에 나누어 배치할 경우 통신 오버헤드가 발생해 병렬 처리의 이점을 온전히 활용하기 어려울 수 있습니다.

​

Set up a 2-Spark cluster

pip install vllm

pip install ray

ray start --head --port=6379

ray start --address=10.0.0.1:6379

ray status

export NCCL_SOCKET_IFNAME=<qsfp-interface>
export NCCL_IB_DISABLE=0
export NCCL_NET_GDR_LEVEL=2

vllm serve <your-model> \
  --tensor-parallel-size 2 \
  --quantization fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --distributed-executor-backend ray

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<your-model>",
    "messages": [{"role": "user", "content": "Hello from two Sparks"}],
    "max_tokens": 64
  }'

​

두 Spark 노드 모두를 Tokios를 통해 서비스합니다.

# On Spark A (the vLLM head node)
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX