Installieren und konfigurieren Sie vLLM auf NVIDIA DGX Spark

Die Nutzung von vLLM mit NVFP4-Quantisierung stellt den leistungsstärksten allgemeinen Einsatzweg auf DGX Spark dar. Sie erhalten so einen OpenAI-kompatiblen /v1-Endpunkt, native SM121-Unterstützung sowie die von der Community gemeldeten Durchsatzwerte: 47 bis 50 Tokens pro Sekunde bei Qwen3.5-35B-A3B, 15 bis 20 Tokens pro Sekunde bei dichten Modellen vom Typ 70B sowie rund 30 Tokens pro Sekunde bei MoE-Modellen vom Typ 120B. Auf dieser Seite erhalten Sie eine Schritt-für-Schritt-Anleitung zur Installation, zum ersten Start sowie zu wichtigen Konfigurationseinstellungen.

Alternative Engines. Einige Community-Mitglieder geben an, bei bestimmten Modellkonfigurationen bessere Ergebnisse mit SGLang zu erzielen; außerdem behauptet der Atlas-Engine, dass er im Vergleich zum Standard-vLLM eine Leistungssteigerung von 2.8x bei Qwen3.6-35B-A3B erzielt. Auf dieser Seite wird der Standard-vLLM behandelt, da er die größte Modellunterstützung sowie die am besten dokumentierten Konfigurationsmöglichkeiten bietet.

Voraussetzungen

Stellen Sie vor Beginn sicher, dass Ihr DGX Spark folgende Anforderungen erfüllt:

Betriebssystem: DGX OS (auf Ubuntu basierend, Linux aarch64)
CUDA: 13.0 or later — CUDA 12 libraries fail on SM121
Python: 3.10 oder eine neuere Version (für die Installation via pip) bzw. Docker mit ARM64-Unterstützung
Arbeitsspeicher: 128 GB gemeinsam genutzt (Standardeinstellung bei allen DGX Spark / GB10 Einheiten)

Überprüfen Sie anschließend Ihre CUDA-Version:

nvcc --version

Überprüfen Sie, ob die GPU erkannt wird:

nvidia-smi

Sie sollten die GB10 Blackwell-GPU mit einer Speichergröße von 128 GB angezeigt sehen.

DGX Spark requires CUDA 13.0 exclusively. The SM121 architecture does not support CUDA 12 libraries. If nvcc --version shows CUDA 12.x, update your DGX OS packages before proceeding.

Installieren Sie vLLM.

Installieren Sie vLLM mittels pip.

Der einfachste Weg unter DGX OS besteht in einer direkten Installation via pip. vLLM stellt ARM64-kompatible Pakete bereit, die auf dem Grace-Prozessor funktionieren.

pip install vllm

Falls Sie die aktuellste NVFP4- oder SM121-Version benötigen:

pip install --pre vllm --extra-index-url https://wheels.vllm.ai/nightly

Alternativ können Sie das Docker-Image herunterladen.

Falls Sie eine containerbasierte Deployment-Methode bevorzugen, laden Sie bitte das für ARM64 geeignete Image herunter.

docker pull vllm/vllm-openai:latest

Starten Sie das Programm mit GPU-Unterstützung.

docker run --gpus all -it --rm -p 8000:8000 vllm/vllm-openai:latest

Überprüfen Sie abschließend die Installation.

Stellen Sie sicher, dass vLLM gestartet wird und die GPU korrekt erkennt.

python -c "import vllm; print(vllm.__version__)"

Wenn hier eine Versionsnummer ausgegeben wird, ohne dass CUDA-Fehler auftreten, ist alles bereit für den Betrieb.

Starten Sie Ihr erstes Modell

Beginnen Sie mit einem 35B MoE-Modell – es ist schnell, bereits ausgiebig getestet und lässt ausreichend Speicherplatz übrig.

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768

Damit wird ein OpenAI-kompatibler Server auf http://127.0.0.1:8000 gestartet. Testen Sie ihn:

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/Qwen3.5-35B-A3B-NVFP4",
    "messages": [{"role": "user", "content": "Hello"}],
    "max_tokens": 64
  }'

Innerhalb weniger Sekunden sollten Sie eine Antwort erhalten; die Zeit bis zum ersten Token beträgt etwa 0.12 Sekunden.

Optimale Einstellungen je nach Modellgröße

The 3 settings that matter most on DGX Spark are --gpu-memory-utilization, --max-model-len, and --quantization. Here are tested starting points:

Modellgröße	`gpu_memory_utilization`	`max_model_len`	`quantization`	Erwartete Tokens pro Sekunde
35B MoE	0.90	32768	`nvfp4`	47-50
70B dichtes Modell	0.85	8192	`nvfp4`	15-20
120B MoE	0.85	8192	`nvfp4`	25-30

35B MoE-Modelle (Qwen3.5-35B-A3B, Qwen3.6-35B-A3B)

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768

35B MoE models use only ~18 GB for weights, leaving substantial room for KV cache. You can push max-model-len higher if you need longer context.

70B dichte Modelle

vllm serve <your-70b-model> \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

70B dense models use ~35 GB for weights at NVFP4. Keep max-model-len at 8192 to leave room for KV cache across concurrent requests. Community reports show multi-user concurrency is limited to 5-10 users at this size.

120B MoE-Modelle (Qwen3.5-122B-A10B, Nemotron-3-Super-120B)

vllm serve <your-120b-moe-model> \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

120B MoE-Modelle benötigen etwa 60 GB Speicherplatz für die Gewichte. Dank der 8192 Kontextbegrenzung bleibt der KV-Cache übersichtlich. Bei der Inferenz für einen einzelnen Nutzer sind etwa 30 Tokens pro Sekunde zu erwarten.

Für detaillierte Einstellungen zum Speicherverbrauch – etwa zur Größenanpassung des KV-Caches, zum Abwägen der Batch-Größe sowie zum --kv-cache-dtype fp8 – lesen Sie bitte das Dokument DGX Spark Memory Tuning.

NVFP4 configuration recipes

NVFP4 ist die empfohlene Quantisierungsmethode für DGX Spark. Sie wird nativ auf SM121 ausgeführt und reduziert die Modellgröße um 75%, wobei die Qualität kaum beeinträchtigt wird.

Verwenden Sie ein bereits quantisiertes Modell

NVIDIA stellt NVFP4-Checkpoints auf Hugging Face bereit. Nutzen Sie dazu das Präfix nvidia/.

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 --quantization nvfp4

Online-Quantisierung zum Zeitpunkt des Ladens

Falls kein vorquantisiertes Checkpoint vorhanden ist, kann vLLM ein BF16-Modell im laufenden Betrieb quantisieren.

vllm serve <model-path> --quantization nvfp4

Dieser Vorgang dauert länger, da das Modell zunächst im Arbeitsspeicher quantisiert werden muss; er funktioniert jedoch für sämtliche von vLLM unterstützte Modellarchitekturen.

Eine Alternative zu SGLang

Einige Mitglieder der Community empfehlen SGLang statt der Standardversion von vLLM für bestimmte DGX Spark-Arbeitslasten. SGLang nutzt denselben CUDA 13.0-Stack und identische Modellformate.

python -m sglang.launch_server --model-path <model> --port 8000

Man sollte SGLang in Betracht ziehen, falls die Standardkonfiguration von vLLM die Leistungsanforderungen für ein spezifisches Modell nicht erfüllt. Die Konfigurationsmöglichkeiten unterscheiden sich; daher sollte man sich in der SGLang-Dokumentation nach DGX Spark-spezifischen Einstellungen erkundigen.

ARM64 and SM121 gotchas

Der Grace-Prozessor (ARM64) sowie die Blackwell-GPU (SM121) von DGX Spark weisen einige plattformspezifische Eigenheiten auf, die man kennen sollte, bevor man auf sie stößt.

Problembeschreibung	Symptome	Lösungsvorschläge
CUDA 12-Bibliotheken	Fehler beim Import sowie Probleme beim Starten von Kerneln	Verwenden Sie ausschließlich CUDA 13.0; aktualisieren Sie anschließend das DGX OS.
NIM-Container funktionieren nicht.	Der Container beendet sich oder es treten Fehler auf ARM64	Nutzen Sie vLLM direkt statt der NIM-Container.
Es kommt zu einem Speicherüberlauf ohne erkennbare Fehlermeldung.	Das System reagiert nicht mehr, anstatt einen CUDA-Speicherüberlauf zu melden.	Begrenzen Sie `gpu_memory_utilization` auf den Bereich 0.85 bis 0.90; siehe dazu Einstellungen zum Speicher
Gemma-4 `gpu_memory_utilization`	Ein Parameter wird bei der Start-Profilierung ignoriert, wodurch das System einfriert.	Nutzen Sie die NVFP4-Quantisierung explizit; verfolgen Sie vLLM #46307

Bei DGX Spark reagiert das System nicht mehr, anstatt einen CUDA-Speicherüberlauf zu melden. In Systemen mit vereinheitlichtem Speicher führt ein Modell samt KV-Cache, das den verfügbaren Speicher überschreitet, zum Einfrieren des Systems statt zu einem sauberen Fehler. Beginnen Sie stets mit konservativen gpu_memory_utilization-Werten (0.85 für große Modelle) und erhöhen Sie diese erst nach Bestätigung der Stabilität.

Testen Sie Ihre Konfiguration im Benchmark.

Nach dem Starten überprüfen Sie die Durchsatzrate mittels eines kurzen Benchmarks.

python -m vllm.entrypoints.openai.api_server \
  --model nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --quantization nvfp4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768 &

# Wait for the server to start, then:
python -m vllm.benchmarks.benchmark_serving \
  --model nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --num-prompts 10 \
  --request-rate 1

Vergleichen Sie Ihre Ergebnisse mit der erwarteten Anzahl an Tokens pro Sekunde aus der obigen Tabelle. Sollte die Durchsatzrate deutlich geringer sein, stellen Sie sicher, dass CUDA 13.0 aktiv ist und keine anderen Prozesse den GPU-Speicher belegen. Beobachten Sie während des Betriebs die Speichernutzung.

watch -n 1 nvidia-smi

Richten Sie Ihren Endpunkt mithilfe von Tokios ein.

Auf dem Spark-System stellt vLLM einen lokalen /v1-Endpunkt bereit. Um von Ihrem Laptop, Entwicklungsagenten oder Kollegen darauf zuzugreifen – ohne SSH-Tunnel oder offene Ports – führen Sie den Tokios-Connector parallel zu vLLM aus.

Starten Sie vLLM auf dem Spark-System.

Starten Sie Ihr Modell gemäß der obigen Anleitung. Prüfen Sie anschließend, ob es auf Anfragen unter http://127.0.0.1:8000/v1 reagiert.

Installieren und verknüpfen Sie den Connector.

Öffnen Sie im Tokios dashboard das Menü Setup und wählen Sie Start pairing aus, um einen Pairing-Code zu erhalten. Auf dem Spark-System:

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Erstellen Sie eine neue Deployment-Einstellung.

Wählen Sie im Reiter Models die Upstream-Modell-ID Ihres vLLM-Modells aus und weisen Sie ihr einen Deployment-Namen zu. Clients nutzen diesen Deployment-Namen statt der Upstream-Modell-ID.

Weitere Beispiele zur Client-Konfiguration finden Sie im vollständigen DGX Spark-Anwendungsleitfaden.

Kompatibilität der Modelle

Prüfen Sie, welche Modelle in 128 GB passen und welche Leistung sie erbringen.

Speichereinstellungen

Festlegung der Größe des KV-Caches, Verwendung von FP8-KV-Cache sowie Anpassung der Parameter für Produktionsumgebungen.

Fernzugriff auf vLLM

Allgemeine Methoden zum Fernzugriff auf vLLM außerhalb von DGX Spark.

Eins oder zwei Spark-Systeme

Erweiterung auf 405B Modelle mittels eines zweiten Spark-Systems und Tensor-Parallelismus.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Installieren und konfigurieren Sie vLLM auf NVIDIA DGX Spark

Voraussetzungen

Installieren Sie vLLM.

Starten Sie Ihr erstes Modell

Optimale Einstellungen je nach Modellgröße

35B MoE-Modelle (Qwen3.5-35B-A3B, Qwen3.6-35B-A3B)

70B dichte Modelle

120B MoE-Modelle (Qwen3.5-122B-A10B, Nemotron-3-Super-120B)

NVFP4 configuration recipes

Verwenden Sie ein bereits quantisiertes Modell

Online-Quantisierung zum Zeitpunkt des Ladens

Eine Alternative zu SGLang

ARM64 and SM121 gotchas

Testen Sie Ihre Konfiguration im Benchmark.

Richten Sie Ihren Endpunkt mithilfe von Tokios ein.

Kompatibilität der Modelle

Speichereinstellungen

Fernzugriff auf vLLM

Eins oder zwei Spark-Systeme

​Voraussetzungen

​Installieren Sie vLLM.

​Starten Sie Ihr erstes Modell

​Optimale Einstellungen je nach Modellgröße

​35B MoE-Modelle (Qwen3.5-35B-A3B, Qwen3.6-35B-A3B)

​70B dichte Modelle

​120B MoE-Modelle (Qwen3.5-122B-A10B, Nemotron-3-Super-120B)

​NVFP4 configuration recipes

​Verwenden Sie ein bereits quantisiertes Modell

​Online-Quantisierung zum Zeitpunkt des Ladens

​Eine Alternative zu SGLang

​ARM64 and SM121 gotchas

​Testen Sie Ihre Konfiguration im Benchmark.

​Richten Sie Ihren Endpunkt mithilfe von Tokios ein.

Kompatibilität der Modelle

Speichereinstellungen

Fernzugriff auf vLLM

Eins oder zwei Spark-Systeme

Voraussetzungen

Installieren Sie vLLM.

Starten Sie Ihr erstes Modell

Optimale Einstellungen je nach Modellgröße

35B MoE-Modelle (Qwen3.5-35B-A3B, Qwen3.6-35B-A3B)

70B dichte Modelle

120B MoE-Modelle (Qwen3.5-122B-A10B, Nemotron-3-Super-120B)

NVFP4 configuration recipes

Verwenden Sie ein bereits quantisiertes Modell

Online-Quantisierung zum Zeitpunkt des Ladens

Eine Alternative zu SGLang

ARM64 and SM121 gotchas

Testen Sie Ihre Konfiguration im Benchmark.

Richten Sie Ihren Endpunkt mithilfe von Tokios ein.