Zuletzt überprüft: 2026-10-14. Diese Seite spiegelt SGLang v0.5.21 (veröffentlicht am 2. Oktober 2026) wider. Flag-Namen und Standardwerte können zwischen Versionen wechseln — überprüfen Sie sie mit
python -m sglang.launch_server --help gegen Ihre installierte Version.RadixAttention
SGLangs KV-Cache ist keine flache Tabelle — er ist ein Radix-Baum, indiziert nach Token-Sequenzen. Jedes Präfix, das jemals eine Anfrage verarbeitet hat, lebt im Baum. Wenn eine neue Anfrage eintrifft, durchläuft SGLang den Baum, um das längste passende Präfix zu finden, und verwendet seinen zwischengespeicherten KV-Zustand wieder, anstatt ihn neu zu berechnen. Konkret: Wenn 10 Anfragen ein 2,000-Token-System-Prompt teilen, wird das Prompt einmal geprefillt. Die restlichen 9 Anfragen überspringen direkt zum Decode. Wenn Konversationen auseinandergehen, bekommt jeder Zweig seinen eigenen Cache-Knoten, und gemeinsame Präfixe auf jeder Tiefe werden unabhängig wiederverwendet. Der Leistungsunterschied ist bei präfixlastigen Workloads erheblich. Bei 50 gleichzeitigen Anfragen mit 80% gemeinsamem Präfix liefert SGLang 37% niedrigere Time-to-First-Token (TTFT) im Vergleich zu vLLM. Der Vorteil wächst, wenn die Präfix-Überlappung zunimmt, und schrumpft, wenn jede Anfrage einzigartig ist.Wann SGLang gewinnt
Wählen Sie SGLang, wenn Ihr Workload hohe Präfix-Überlappung hat:- RAG-Pipelines — dasselbe System-Prompt und abgerufene Chunks erscheinen über viele Anfragen. RadixAttention cached das Prompt- + Dokument-Präfix einmal und verwendet es für jede Frage wieder.
- Multi-Turn-Konversationen — jeder Turn erweitert den vorherigen Kontext. Die gesamte Konversationshistorie bis zum letzten Turn ist ein gemeinsames Präfix.
- Agenten-Schleifen mit Tool-Schemas — Agenten senden dieselben Tool-Definitionen, Few-Shot-Beispiele und Orchestrierungs-Prompts bei jedem Aufruf. SGLang cached diese Präfixe und prefillt nur die neuen Tool-Ergebnisse.
- Lange gemeinsame System-Prompts — jedes Deployment, bei dem Dutzende oder Hunderte Nutzer ein großes System-Prompt teilen (Kunden-Support-Bots, Coding-Assistenten, Dokument-Q&A).
- Batch-Evaluierung — dasselbe Prompt-Template mit verschiedenen Variablen-Substitutionen ausführen. Das Template-Präfix wird gecached; nur der ausgefüllte Teil wird geprefillt.
Wann vLLM gewinnt
Wählen Sie vLLM, wenn Ihr Workload Breite über Tiefe priorisiert:- Einzigartige Prompts pro Anfrage — wenn jede Anfrage ein völlig anderes Prompt ohne gemeinsames Präfix hat, hat RadixAttention nichts wiederzuverwenden. vLLMs PagedAttention behandelt unabhängige Anfragen equally gut.
- Breite Modellunterstützung — vLLM fügt Unterstützung für neue Modellarchitekturen schneller hinzu. Wenn Sie ein Modell brauchen, das letzte Woche erschien, unterstützt vLLM es wahrscheinlich zuerst.
- Blackwell-GPU-Optimierung — vLLM hat dedizierte Optimierungspfade für NVIDIA Blackwell (B100/B200/GB200) Hardware. Wenn Sie auf Blackwell bereitstellen, extrahiert vLLM mehr Durchsatz.
- EAGLE3 spekulative Dekodierung — vLLMs EAGLE-Integration ist ausgereifter. Wenn spekulative Dekodierung Ihr primärer Latenz-Hebel ist, ist vLLM heute die sicherere Wahl.
- Produktions-Härtung — vLLM hat eine größere Bereitstellungsbasis und eine längere Erfolgsbilanz im Produktionsbetrieb. Wenn Stabilität und Community-Support wichtiger als Prefix-Caching sind, ist vLLM der Standard.
Konfigurations-Flags
Wichtige SGLang-spezifische Flags fürpython -m sglang.launch_server:
Rust-basiertes Prefix-Caching
Beginnend mit v0.5.21 ist das RadixAttention-Cache-Backend in Rust implementiert und standardmäßig aktiviert. Das Rust-Backend ersetzt die frühere Python-Implementierung mit geringerem Overhead für Cache-Lookups, Einfügungen und Eviction. Sie brauchen kein Flag, um es zu aktivieren — es ist der Standardpfad. Wenn Sie auf Probleme stoßen, können Sie mit--disable-cuda-graph auf die Python-Implementierung zurückfallen und die SGLang-Release-Notes für das genaue Rollback-Flag für Ihre Version prüfen. In der Praxis ist das Rust-Backend stabil und schneller.
Entscheidungsmatrix
Beispielkonfigurationen
RAG-Pipeline mit langem abgerufenen Kontext
Bereiten Sie ein 70B-Modell für RAG optimiert bereit, bei dem jede Anfrage dasselbe System-Prompt und große abgerufene Dokument-Chunks trägt:--mem-fraction-static 0.92 weist mehr GPU-Speicher dem KV-Cache für lange abgerufene Kontexte zu. --chunked-prefill-size 4096 verhindert, dass große Dokument-Prefills gleichzeitige Decode-Anfragen blockieren. RadixAttention erledigt den Rest — das System-Prompt und Dokument-Präfix werden nach der ersten Anfrage gecached.
Multi-Turn-Chat-Agent mit Tool-Schemas
Bereiten Sie ein Modell für einen Agenten bereit, der bei jedem Aufruf dieselben Tool-Definitionen sendet:Hochdurchsatz-Batch-Evaluierung
Führen Sie dasselbe Prompt-Template über Tausende von Inputs mit maximalem Durchsatz aus:Native Decisions API
SGLang v0.5.21 hat eine Native Decisions API hinzugefügt, die demselben Muster wie Ollama und LM Studio folgt. Dies lässt Clients abfragen, welche Modelle verfügbar sind, den Modellstatus prüfen und Deployments über eine konsistente Schnittstelle verwalten — nützlich, wenn Sie Tooling bauen, das mit mehreren lokalen Backends spricht. Prüfen Sie die SGLang-Release-Notes für die genauen Endpunkt-Pfade und das Anfrage-/Antwortformat, da die API-Oberfläche neu ist und sich weiterentwickeln kann.SGLang durch Tokios verbinden
Sobald SGLang läuft, legt der Tokios-Connector ihn für entfernte Clients frei, ohne eingehende Ports zu öffnen. Der Connector wählt sich ausgehend zuhttps://api.tokios.com ein und leitet Anfragen an SGLangs OpenAI-kompatiblen /v1-Endpunkt auf localhost weiter. Siehe SGLang Fernzugriff für die vollständige Einrichtungsanleitung.
SGLang Fernzugriff
Verbinden Sie SGLang durch Tokios für authentifizierten Fernzugriff.
vLLM Fernzugriff
Dasselbe Muster für vLLM — Setups nebeneinander vergleichen.
Spekulative Dekodierung
Decode mit Draft-Modellen, N-Grammen, MTP und EAGLE beschleunigen.
Ihr Deployment benchmarken
TTFT, Durchsatz und Latenz über Konfigurationen messen.