NVIDIA DGX Spark에 vLLM을 설치하고 설정하기

vLLM with NVFP4 quantization is the best-performing general-purpose serving path on DGX Spark. It gives you an OpenAI-compatible /v1 endpoint, native SM121 support, and the throughput numbers the community reports — 47-50 tok/s on Qwen3.5-35B-A3B, 15-20 tok/s on 70B dense, and ~30 tok/s on 120B MoE. This page walks you through installation, first launch, and the settings that matter.

Alternative engines. Some community members report better results with SGLang on specific model configurations, and the Atlas engine claims 2.8x over stock vLLM for Qwen3.6-35B-A3B. This page covers stock vLLM because it has the broadest model support and the most documented configuration surface.

사전 요구 사항

시작하기 전에 DGX Spark가 다음 요구 사항을 충족하는지 확인하세요:

운영체제: DGX OS (Ubuntu 기반의 Linux aarch64)
CUDA: 13.0 or later — CUDA 12 libraries fail on SM121
Python: 3.10 이상 버전 (pip 설치를 위해) 또는 ARM64를 지원하는 Docker 환경
메모리: 128 GB의 통합 메모리 (모든 DGX Spark / GB10 유닛의 기본 사양)

현재 사용 중인 CUDA 버전을 확인하세요:

nvcc --version

GPU가 올바르게 인식되는지 확인하세요:

nvidia-smi

GB10 Blackwell GPU가 128 GB 용량으로 표시되는 것을 확인할 수 있습니다.

DGX Spark requires CUDA 13.0 exclusively. The SM121 architecture does not support CUDA 12 libraries. If nvcc --version shows CUDA 12.x, update your DGX OS packages before proceeding.

vLLM을 설치합니다

pip을 이용해 vLLM을 설치하세요

DGX OS에서 가장 간단한 방법은 직접 pip 설치 명령을 실행하는 것입니다. vLLM은 Grace CPU에서도 작동하는 ARM64용 패키지를 제공합니다.

pip install vllm

최신 NVFP4 또는 SM121 관련 수정사항이 포함된 나이트리 빌드가 필요하다면 다음을 참고하세요:

pip install --pre vllm --extra-index-url https://wheels.vllm.ai/nightly

또는 Docker 이미지를 가져옵니다

컨테이너 기반 배포를 원하신다면 ARM64과 호환되는 이미지를 가져오시기 바랍니다:

docker pull vllm/vllm-openai:latest

GPU 접근 권한을 부여한 상태에서 실행합니다:

docker run --gpus all -it --rm -p 8000:8000 vllm/vllm-openai:latest

설치가 제대로 되었는지 확인합니다

vLLM이 정상적으로 실행되며 GPU를 인식하는지 확인하세요:

python -c "import vllm; print(vllm.__version__)"

만약 CUDA 관련 오류 없이 버전 번호가 출력된다면, 배포 준비가 완료된 것입니다.

첫 번째 모델을 실행해 보세요

먼저 35B MoE 모델부터 시작해 보세요. 속도가 빠르고 충분히 테스트되었으며 메모리 여유도 넉넉합니다.

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768

이 명령어로 http://127.0.0.1:8000에서 OpenAI 호환 서버가 실행됩니다. 다음과 같이 테스트해 보세요:

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/Qwen3.5-35B-A3B-NVFP4",
    "messages": [{"role": "user", "content": "Hello"}],
    "max_tokens": 64
  }'

몇 초 내에 응답이 나타나며, 첫 토큰까지 걸리는 시간은 약 0.12초 정도일 것입니다.

모델 크기에 따른 최적 설정값

DGX Spark에서 가장 중요한 3 설정값은 --gpu-memory-utilization, --max-model-len, 그리고 --quantization입니다. 아래는 검증된 기본 설정값들입니다:

모델 크기	`gpu_memory_utilization`	`max_model_len`	`quantization`	예상 토큰 생성 속도(tok/s)
35B MoE	0.90	32768	`nvfp4`	47-50
70B 일반 모델	0.85	8192	`nvfp4`	15-20
120B MoE	0.85	8192	`nvfp4`	25-30

35B MoE 모델 (Qwen3.5-35B-A3B, Qwen3.6-35B-A3B)

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768

35B MoE 모델들은 가중치 저장에 약 18 GB만을 사용하므로 KV 캐시 공간이 상당히 남아있습니다. 더 긴 컨텍스트가 필요하다면 max-model-len 수치를 더 높게 설정할 수 있습니다.

70B 일반 모델

vllm serve <your-70b-model> \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

70B dense models use ~35 GB for weights at NVFP4. Keep max-model-len at 8192 to leave room for KV cache across concurrent requests. Community reports show multi-user concurrency is limited to 5-10 users at this size.

120B MoE 모델 (Qwen3.5-122B-A10B, Nemotron-3-Super-120B)

vllm serve <your-120b-moe-model> \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

120B MoE 모델들은 가중치 저장에 약 60 GB가 소요됩니다. 8192 수준의 컨텍스트 제한 덕분에 KV 캐시 관리가 용이합니다. 단일 사용자 추론 시 약 30 토큰/초 속도가 예상됩니다.

메모리 최적화에 관한 자세한 정보 — KV 캐시 크기 조정, 배치 크기 선택 및 --kv-cache-dtype fp8 설정 방법은 DGX Spark 메모리 튜닝 문서를 참고하시기 바랍니다.

NVFP4 설정 가이드

NVFP4은 DGX Spark에 적합한 양자화 방식입니다. SM121에서 기본적으로 작동하며 품질 저하를 최소화하면서 용량을 75% 수준으로 줄여줍니다.

사전 양자화된 모델 활용하기

NVIDIA에서는 Hugging Face에 NVFP4 체크포인트들을 공개하고 있습니다. nvidia/ 접두사를 사용해 해당 모델들을 찾아보시기 바랍니다.

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 --quantization nvfp4

로드 시점에 양자화 처리하기

미리 양자화된 체크포인트가 없을 경우, vLLM은 BF16 모델을 기반으로 실시간으로 양자화를 수행할 수 있습니다.

vllm serve <model-path> --quantization nvfp4

이 방식은 로딩 시간이 더 오래 걸리지만(모델이 메모리 내에서 먼저 양자화되어야 함), vLLM이 지원하는 모든 모델 아키텍처에 적용 가능합니다.

SGLang 대안

일부 커뮤니티 회원들은 특정 DGX Spark 워크로드에 대해 기본 vLLM 대신 SGLang을 권장합니다. SGLang 역시 동일한 CUDA 13.0 스택에서 작동하며 같은 모델 포맷을 사용합니다.

python -m sglang.launch_server --model-path <model> --port 8000

특정 모델에 대한 처리량 요구사항을 vLLM 기본 설정만으로 충족하기 어렵다면 SGLang을 고려해보시기 바랍니다. 설정 방식이 다르므로 DGX Spark 전용 플래그에 관해서는 SGLang 공식 문서를 참고하시기 바랍니다.

ARM64 및 SM121 관련 주의사항

DGX Spark에 탑재된 Grace CPU(ARM64)와 Blackwell GPU(SM121)에는 실제 사용 전에 알아두어야 할 몇 가지 플랫폼 특화 문제들이 존재합니다.

문제점	증상	해결 방법
CUDA 12 라이브러리	임포트 오류 및 커널 실행 실패	CUDA 13.0만을 사용하시고 DGX OS도 업데이트해주세요
NIM 컨테이너가 작동하지 않습니다	ARM 환경에서 컨테이너가 종료되거나 오류가 발생함 64	NIM 컨테이너 대신 vLLM을 직접 사용하시기 바랍니다
명확한 오류 메시지 없이 메모리 부족 현상이 발생합니다	시스템이 CUDA 메모리 부족 오류를 표시하는 대신 반응을 멈춥니다	Cap `gpu_memory_utilization` at 0.85-0.90; see memory tuning
Gemma-4 `gpu_memory_utilization`	시작 시 프로파일링 과정에서 특정 매개변수가 무시되어 시스템이 멈춥니다	Use NVFP4 quantization explicitly; track vLLM #46307

DGX Spark 시스템은 CUDA 메모리 부족 오류를 표시하는 대신 반응을 멈춥니다. 통합 메모리 방식 시스템에서는 모델과 KV 캐시가 사용 가능한 메모리 용량을 초과할 경우 시스템이 정상적으로 종료되지 않고 멈추게 됩니다. 따라서 처음에는 보수적인 gpu_memory_utilization 값을 설정하시고(대형 모델의 경우 0.85 수준), 안정성이 확인된 후에만 값을 높여주시기 바랍니다

사용 중인 환경을 반드시 벤치마크해보시기 바랍니다

실행 후 간단한 벤치마크를 통해 처리량을 확인해보세요.

python -m vllm.entrypoints.openai.api_server \
  --model nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768 &

# Wait for the server to start, then:
python -m vllm.benchmarks.benchmark_serving \
  --model nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --num-prompts 10 \
  --request-rate 1

위 설정 표에 명시된 예상 토큰/초 수치와 결과를 비교해보세요. 처리량이 현저히 낮다면 CUDA 13.0가 활성화되어 있는지, 그리고 다른 프로세스가 GPU 메모리를 점유하고 있지 않은지 확인하시기 바랍니다. 서비스 중인 상태에서 메모리 사용량을 지속적으로 모니터링하세요.

watch -n 1 nvidia-smi

Tokios를 이용해 엔드포인트를 공개하세요.

Spark에서 vLLM을 사용하면 로컬 /v1 엔드포인트가 생성됩니다. SSH 터널이나 포트 개방 없이 노트북, 코딩 에이전트, 팀원들이 이 엔드포인트에 접근하려면 vLLM과 함께 Tokios 커넥터를 실행해야 합니다.

Spark에서 vLLM을 시작하세요.

위 지침대로 모델을 실행한 뒤 http://127.0.0.1:8000/v1에서 정상적으로 응답하는지 확인하세요.

커넥터를 설치하고 페어링하세요.

In the Tokios dashboard, open Setup and select Start pairing to get a claim code. On the Spark:

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

배포 항목을 등록하세요.

On the Models tab, map your vLLM model id to a deployment name. Clients use the deployment name, not the upstream model id.

클라이언트 설정 예시는 DGX Spark 활용 가이드 전문을 참고하시기 바랍니다.

모델 호환성

Check which models fit in 128GB and their expected throughput.

메모리 튜닝

KV 캐시 크기 설정, FP8 KV 캐시 활용법, 그리고 실제 운영 환경에서의 튜닝 파라미터에 대해 알아보겠습니다.

vLLM 원격 접속 방법

DGX Spark 외에도 vLLM을 원격으로 사용할 수 있는 일반적인 접속 방식들을 소개합니다.

하나의 Spark와 두 개의 Spark

두 번째 Spark와 텐서 병렬 처리를 활용해 405B개 모델까지 확장하는 방법입니다.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

NVIDIA DGX Spark에 vLLM을 설치하고 설정하기

사전 요구 사항

vLLM을 설치합니다

첫 번째 모델을 실행해 보세요

모델 크기에 따른 최적 설정값

35B MoE 모델 (Qwen3.5-35B-A3B, Qwen3.6-35B-A3B)

70B 일반 모델

120B MoE 모델 (Qwen3.5-122B-A10B, Nemotron-3-Super-120B)

NVFP4 설정 가이드

사전 양자화된 모델 활용하기

로드 시점에 양자화 처리하기

SGLang 대안

ARM64 및 SM121 관련 주의사항

사용 중인 환경을 반드시 벤치마크해보시기 바랍니다

Tokios를 이용해 엔드포인트를 공개하세요.

모델 호환성

메모리 튜닝

vLLM 원격 접속 방법

하나의 Spark와 두 개의 Spark

​사전 요구 사항

​vLLM을 설치합니다

​첫 번째 모델을 실행해 보세요

​모델 크기에 따른 최적 설정값

​35B MoE 모델 (Qwen3.5-35B-A3B, Qwen3.6-35B-A3B)

​70B 일반 모델

​120B MoE 모델 (Qwen3.5-122B-A10B, Nemotron-3-Super-120B)

​NVFP4 설정 가이드

​사전 양자화된 모델 활용하기

​로드 시점에 양자화 처리하기

​SGLang 대안

​ARM64 및 SM121 관련 주의사항

​사용 중인 환경을 반드시 벤치마크해보시기 바랍니다

​Tokios를 이용해 엔드포인트를 공개하세요.

모델 호환성

메모리 튜닝

vLLM 원격 접속 방법

하나의 Spark와 두 개의 Spark

사전 요구 사항

vLLM을 설치합니다

첫 번째 모델을 실행해 보세요

모델 크기에 따른 최적 설정값

35B MoE 모델 (Qwen3.5-35B-A3B, Qwen3.6-35B-A3B)

70B 일반 모델

120B MoE 모델 (Qwen3.5-122B-A10B, Nemotron-3-Super-120B)

NVFP4 설정 가이드

사전 양자화된 모델 활용하기

로드 시점에 양자화 처리하기

SGLang 대안

ARM64 및 SM121 관련 주의사항

사용 중인 환경을 반드시 벤치마크해보시기 바랍니다

Tokios를 이용해 엔드포인트를 공개하세요.