Ein oder zwei DGX Sparks – wann lohnt sich eine Skalierung und wie richtet man sie ein?

​

Kurzfassung

​

Wann reicht der Einsatz von 1 Spark aus

• Ihr Modell bei angemessener Quantisierung passt. Dichte Modelle bis zu einer Größe von 70B im NVFP4-Format (etwa 35 GB) sowie MoE-Modelle bis zu 120B im NVFP4-Format (etwa 60 GB) lassen sich auf einem einzigen Knoten betreiben, wobei noch Platz für den KV-Cache bleibt.
• You serve 1-5 concurrent users. Single-Spark inference handles small team workloads at 35B MoE. For 70B dense, plan for 5-10 users maximum.
• Die Latenz ist wichtiger als die reine Modellgröße. Ein einzelner Spark vermeidet den Kommunikations-Overhead zwischen Knoten, der durch Tensor-Parallelismus entsteht. Bei einem MoE-Modell der Größe 35B erreicht die Ein-Knoten-Bereitstellung eine Geschwindigkeit von 47 bis 50 Tokens pro Sekunde – ausreichend für Echtzeit-Coding-Agenten und Chat-Anwendungen.
• You want simple operations. 1 machine, 1 runtime, 1 point of failure. No network configuration, no distributed launch, no NCCL debugging.

​

Falls Sie 2 Sparks benötigen

• Your quantized model exceeds 128 GB but fits comfortably below 256 GB after runtime and KV-cache headroom. DeepSeek-V4-Flash-0731 is an example, with a published 162–167 GB weight floor.
• Sie benötigen mehr KV-Cache-Kapazität oder höhere Parallelität bei einem Modell, das bereits für verteilte Bereitstellung getestet wurde. Tensor-Parallelismus verteilt zwar die Speicherlast, garantiert jedoch keine proportional höhere Durchsatzrate.
• Sie sind nun bereit, die Leistung der vernetzten Runtime zu bewerten. Die Kommunikationsüberlastung sowie die Modellarchitektur bestimmen das Ergebnis.

​

200 Gbps QSFP link configuration

ip link show

ethtool <qsfp-interface> | grep Speed

sudo ip addr add 10.0.0.1/24 dev <qsfp-interface>

sudo ip addr add 10.0.0.2/24 dev <qsfp-interface>

ping 10.0.0.2   # from Spark A
ping 10.0.0.1   # from Spark B

export NCCL_SOCKET_IFNAME=<qsfp-interface>
export NCCL_IB_DISABLE=0
export NCCL_NET_GDR_LEVEL=2

​

Tensor-Parallelismus über 2 Spark-Systeme

​

Starten Sie ein verteiltes Modell

vllm serve <your-distributed-model> \
  --tensor-parallel-size 2 \
  --quantization fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --distributed-executor-backend ray

​

Beispiele für Modelle für 2 Spark-Systeme

​

Pipeline-Parallelismus – wann ist er sinnvoll?

• Die Modellarchitektur Tensor-Parallelismus nicht unterstützt.
• Sie mehr als 2 Spark-Instanzen miteinander verketten und den Kommunikations-Überhead pro Verbindung minimieren möchten.

vllm serve <model> \
  --pipeline-parallel-size 2 \
  --tensor-parallel-size 1

​

Netzwerkvoraussetzungen zwischen den einzelnen Spark-Instanzen

​

Kosten-Nutzen-Analyse

​

Zu welchem Zeitpunkt sich der Einsatz eines zweiten Spark auszahlt

• Sie benötigen ein verteiltes Modell samt berechnetem Gewicht und einem KV-Cache-Plan. Beispielsweise erfordert DeepSeek-V4-Flash-0731 für die Deployment-Phase 2 Knoten und startet als von der Community geprüfte Konfiguration.
• Sie stellen einem Team ein Modell bereit, dessen verteilte Laufzeitumgebung den Durchsatz oder die Konkurrenzfähigkeit so stark erhöht, dass sich der Einsatz einer zweiten Einheit lohnt.
• Sie führen latenzempfindliche Aufgaben mit 120B-Modellen aus. Der zusätzliche KV-Cache-Speicherplatz durch zwei Sparks ermöglicht längere Kontexte oder mehr Nutzer, ohne dass der Speicher begrenzend wirkt.

​

In welchen Fällen das nicht zutrifft

• Your model is ≤70B and your team is small. One Spark at 47-50 tok/s on a 35B MoE model is already faster than most people type. A second Spark adds cost and complexity for no user-visible improvement.
• Sie können MoE-Modelle nutzen, die bereits passend dimensioniert sind. GLM-4.5-Air, Qwen3.5-122B sowie Nemotron-3-Super-120B lassen sich alle auf einem einzigen Spark-Cluster unter NVFP4 betreiben. Eine Aufteilung auf zwei Knoten erzeugt zusätzlichen Kommunikationsaufwand, wodurch sich die Vorteile der Parallelisierung möglicherweise nicht vollständig ausschöpfen lassen.

​

Richten Sie einen 2-Spark-Cluster ein.

pip install vllm

pip install ray

ray start --head --port=6379

ray start --address=10.0.0.1:6379

ray status

export NCCL_SOCKET_IFNAME=<qsfp-interface>
export NCCL_IB_DISABLE=0
export NCCL_NET_GDR_LEVEL=2

vllm serve <your-model> \
  --tensor-parallel-size 2 \
  --quantization fp8 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --distributed-executor-backend ray

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<your-model>",
    "messages": [{"role": "user", "content": "Hello from two Sparks"}],
    "max_tokens": 64
  }'

​

Betreiben Sie beide Spark-Instanzen über Tokios.

# On Spark A (the vLLM head node)
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX