Ein Modell bereitstellen und skalieren

Beim Ausführen von ollama run qwen3.6 bleibt vieles im Hintergrund verborgen. Sobald Sie jedoch die erweiterte Registerkarte „Ausführen“ auf der Modellseite öffnen und einen Befehl wie vllm serve … --tensor-parallel-size 8 --enable-expert-parallel sehen, treffen Sie auf neue Fachbegriffe. Diese Seite erläutert, welche Funktionen sie haben und wann sie tatsächlich erforderlich sind.

​

Das Inferenz-Framework

Ein Inferenz-Framework ist das Kernstück, das das Modell lädt, Berechnungen ausführt, Batching sowie den KV-Cache verwaltet und außerdem eine API bereitstellt. Es bietet mehr Kontrolle im Austausch gegen etwas mehr Komplexität bei der Bedienung: Die einfachen Tools (Ollama, LM Studio) stellen den idealen Einstieg auf jeder Modellseite dar. Die übrigen Tools bieten zusätzliche Einstellungen. Tokios verknüpft sich mit allen genannten Tools; es leitet Anfragen an den jeweiligen OpenAI-kompatiblen /v1 weiter, den Ihr Framework bereitstellt.

​

Genauigkeit

Precision is how many bits the runtime uses to store and compute each number in the model — FP32 (32-bit), FP16/bf16 (16-bit), FP8 (8-bit), or 4-bit formats. Fewer bits means less memory and faster data movement, at some risk to quality. This is the same idea as quantization — precision is the knob, quantization is turning it down. Which low-precision format your hardware can actually run is a separate question, answered in Quantization formats and the hardware they need.

​

Kernel

A kernel is the small, highly optimized GPU (or CPU) routine that performs one hot operation — a matrix multiply, an attention step, dequantizing a 4-bit weight, sampling the next token. You rarely name kernels directly, but they explain two things you do see:

• Warum ein Quantisierungsformat spezielle Hardware erfordert. Ein Format ist nur schnell, wenn die Laufzeitumgebung einen Kernel bereitstellt, der es auf Ihrem Chip verarbeiten kann. NVFP4 benötigt Blackwell Tensor Core-Kernel; GGUF hingegen funktioniert universell, da llama.cpp Kernel für CPU, Metal, CUDA, ROCm sowie Vulkan anbietet. Weitere Informationen finden Sie unter Quantisierungsformate und die dafür erforderliche Hardware.
• Warum „FlashAttention“ häufig erwähnt wird. FlashAttention ist ein schnellerer Attention-Kernel, der bei langen Kontexten Speicherplatz spart. Wenn eine Laufzeitumgebung angibt, dass FlashAttention aktiviert ist, handelt es sich dabei um eine für Sie optimierte Kernel-Auswahl.

​

Ausführung auf mehreren GPUs – Parallelverarbeitung

Ist ein Modell zu groß für eine einzelne GPU oder kann eine GPU nicht genügend Anfragen verarbeiten, verteilt die Laufzeitumgebung die Aufgaben auf mehrere GPUs. Es gibt vier gängige Strategien, die jeweils unterschiedliche Probleme lösen:

• Tensor-Parallelismus unterteilt die Matrizen jeder Schicht in Abschnitte, wobei jeweils ein Abschnitt auf eine GPU entfällt; anschließend führen die GPUs bei jedem Vorwärtsdurchlauf die Ergebnisse zusammen. Dadurch verringert sich der Speicherbedarf pro GPU, doch die GPUs müssen ständig miteinander kommunizieren – daher sind schnelle Verbindungswege wie NVLink von großer Bedeutung.
• Pipeline parallelism puts different layers on different GPUs, like a factory line. It scales across many devices but can leave GPUs idle waiting for the stage before them.
• Datenparallelismus startet lediglich unabhängige Kopien des Modells. Er bietet keinerlei Hilfe für Modelle, die ohnehin nicht in den Speicher passen – er dient ausschließlich dazu, mehr gleichzeitige Anfragen zu verarbeiten.
• Experten-Parallelismus kommt ausschließlich bei MoE-Modellen zum Einsatz: Anstatt jeden Experten auf alle GPUs zu kopieren, beherbergt jede GPU bestimmte Experten, und die Tokens werden an die GPU weitergeleitet, die den jeweiligen Experten verwaltet. Dies ist ideal für große MoE-Modelle, erfordert jedoch zusätzlichen Aufwand bei der Routing-Logik.

Quellen: vLLM-Parallelismus und Skalierung, vLLM-Data-Parallel-Deployment, vLLM-Expert-Parallel-Deployment, TensorRT-LLM-Parallelisierungsstrategie.

​

Spekulatives Decodieren sowie Multi-Token-Prädiktion

Decode is slow because the model reads its weights from memory for every single token. Speculative decoding speeds it up without changing the output: a fast “draft” proposes several tokens at once, then the full model verifies them in one pass and keeps the ones it agrees with. Because verification is cheaper than generating from scratch, you get more accepted tokens per memory read. Mehrfach-Token-Vorhersage (MTP) stellt eine Methode dar, um solche Entwürfe zu erstellen. Das Modell enthält zusätzliche Kopfeinheiten, die darauf trainiert sind, die nächsten mehrere Tokens vorherzusagen, wodurch es sich selbst Entwürfe erstellen und überprüfen kann. Die aktuelle DeepSeek-V4-Flash-0731-Version enthält zudem ein DSpark-Modul im selben Checkpoint. In der offiziellen Modelldokumentation werden method: dspark für vLLM sowie DSPARK für SGLang aufgeführt, sodass keine separate Pfadangabe für ein Entwurfsmodell erforderlich ist. Quellen: DeepSeek-V4-Flash-0731-Modellkarte, Qwen3.6-27B-Modellkarte, vLLM-Spekulatives Decodieren.

​

Wo diese Ansätze zum Einsatz kommen