Last verified: 2026-10-14. This page reflects SGLang v0.5.21 (released October 2, 2026). Flag names and defaults can shift between releases — verify against your installed version with
python -m sglang.launch_server --help.RadixAttention
SGLangのKVキャッシュはフラットなテーブルではなく、トークンシーケンスをキーとするラジックスリーである。どのリクエストがこれまで処理したプレフィックスもすべてツリー内に保持される。新しいリクエストが到着すると、SGLangはツリーを走査して最長一致のプレフィックスを見つけ、再計算せずにキャッシュされたKV状態を再利用する。 具体的に、10件のリクエストが2,000トークンのシステムプロンプトを共有する場合、プロンプトは一度だけプリフィルされる。残りの9件のリクエストはデコードに直接進む。会話が発散すると、各ブランチは独自のキャッシュノードを取得し、任意の深さで共有プレフィックスが独立して再利用される。 パフォーマンスの違いはプレフィックス重視のワークロードで顕著である。50件の同時リクエストで80%の共有プレフィックスの場合、SGLangはvLLMと比較して37%低いTTFTを実現する。この優位性はプレフィックスの重複が増えるほど拡大し、すべてのリクエストがユニークな場合は縮小する。SGLangが適するケース
ワークロードに高いプレフィックス重複がある場合はSGLangを選ぶ：- RAGパイプライン — 同じシステムプロンプトと取得チャンクが多くのクエリにわたって出現する。RadixAttentionはプロンプト + ドキュメントプレフィックスを一度キャッシュし、すべての質問で再利用する。
- マルチターン会話 — 各ターンは前のコンテキストを拡張する。最後のターンまでの会話履歴全体が共有プレフィックスとなる。
- ツールスキーマ付きエージェントループ — エージェントは呼び出しごとに同じツール定義、フューショット例、オーケストレーションプロンプトを送信する。SGLangはそれらのプレフィックスをキャッシュし、新しいツール結果のみをプリフィルする。
- 長い共有システムプロンプト — 数十または数百のユーザーが大きなシステムプロンプトを共有するデプロイメント（カスタマーサポートボット、コーディングアシスタント、ドキュメントQ&A）。
- バッチ評価 — 同じプロンプトテンプレートを異なる変数置換で実行する。テンプレートプレフィックスがキャッシュされ、入力部分のみがプリフィルされる。
vLLMが適するケース
ワークロードが広範性を重視する場合はvLLMを選ぶ：- リクエストごとにユニークなプロンプト — すべてのリクエストが共有プレフィックスなしの完全に異なるプロンプトを持つ場合、RadixAttentionは再利用できない。vLLMのPagedAttentionは独立したリクエストを同等に高速に処理する。
- 幅広いモデルサポート — vLLMは新しいモデルアーキテクチャのサポートをより速く追加する。先週リリースされたモデルが必要な場合、vLLMが最初にサポートする可能性が高い。
- Blackwell GPU最適化 — vLLMにはNVIDIA Blackwell（B100/B200/GB200）ハードウェア向けの専用最適化パスがある。Blackwellにデプロイする場合、vLLMがより多くのスループットを引き出す。
- EAGLE3投機的デコード — vLLMのEAGLE統合はより成熟している。投機的デコードが主要なレイテンシーレバーの場合、vLLMがより安全な選択肢である。
- プロダクション硬化 — vLLMはより大きなデプロイベースとプロダクションサービングでの長い実績を持つ。安定性とコミュニティサポートがプレフィックスキャッシュより重要な場合、vLLMがデフォルトである。
設定フラグ
主なSGLang固有フラグ（python -m sglang.launch_server）は次の通りです：
Rustバックエンドのプレフィックスキャッシュ
RadixAttentionキャッシュバックエンドは、v0.5.21からRustで実装され、デフォルトで有効化されています。Rustバックエンドは以前のPython実装を置き換え、キャッシュルックアップ、挿入、削除のオーバーヘッドを低減します。有効化にフラグは不要です — デフォルトのパスです。 問題が発生した場合は、--disable-cuda-graphでPython実装にフォールバックし、使用バージョンの正確なロールバックフラグについてSGLangリリースノートを確認できる。実際には、Rustバックエンドは安定しており高速である。
判断マトリクス
設定例
長い取得コンテキスト付きRAGパイプライン
すべてのリクエストが同じシステムプロンプトと大きな取得ドキュメントチャンクを持つ、RAGに最適化された70Bモデルをサーブする：--mem-fraction-static 0.92は長い取得コンテキスト向けにGPUメモリのより多くをKVキャッシュに割り当てる。--chunked-prefill-size 4096は大きなドキュメントプリフィルが同時デコードリクエストをストールするのを防ぐ。RadixAttentionが残りを処理する — システムプロンプトとドキュメントプレフィックスは最初のリクエスト後にキャッシュされる。
ツールスキーマ付きマルチターンチャットエージェント
呼び出しごとに同じツール定義を送信するエージェント向けにモデルをサーブする：高スループットバッチ評価
最大スループットで数千の入力に対して同じプロンプトテンプレートを実行する：ネイティブdecisions API
SGLang v0.5.21は、OllamaおよびLM Studioと同じパターンに従うネイティブdecisions APIを追加した。これにより、クライアントは利用可能なモデルのクエリ、モデルステータスの確認、一貫したインターフェースを通じたデプロイメント管理を行える — 複数のローカルバックエンドと通信するツールを構築する場合に有用。 API surfaceは新しく進化中のため、正確なエンドポイントパスとリクエスト/レスポンス形式についてはSGLangリリースノートを確認すること。Tokios経由でSGLangを接続する
SGLangが稼働したら、Tokiosコネクターはインバウンドポートを開かずにリモートクライアントへ公開する。コネクターはhttps://api.tokios.comにダイヤルアウトし、localhostのSGLangのOpenAI互換/v1エンドポイントにリクエストを転送する。完全なセットアップウォークスルーについてはSGLangリモートアクセスを参照。
SGLangリモートアクセス
Tokios経由でSGLangを接続し、認証済みリモートアクセスを実現。
vLLMリモートアクセス
vLLM向けも同じパターン — セットアップを並べて比較。
投機的デコード
ドラフトモデル、n-grams、MTP、EAGLEでデコードを高速化。
デプロイメントのベンチマーク
設定間でのTTFT、スループット、レイテンシを測定。