どこからでも安全にSGLangサーバーを利用できる

SGLangはOpenAI互換のサーバーを起動し、TokiosはOpenAIのチャット補完APIに対応するあらゆるサーバーへ接続する。そのためSGLangは汎用的なOpenAI互換アップストリームモデルIDとして機能する。SGLangをローカルホスト上で動作させ、その隣でTokiosコネクターも実行すれば、コネクターはhttps://api.tokios.comへ接続し、各種ツールやチームメイト、エージェントはどこからでも認証済みのエンドポイントを呼び出せる。

高度なランタイム機能 SGLangは高スループットなサービス提供向けに設計されたPython製GPUサーバーであり、デスクトップツールよりも多くの設定が必要だ。より簡単な導入を望む場合は、OllamaやLM Studioから始めるのが良い。

SGLangはOpenAI互換のチャット補完APIを提供するため、他のOpenAI互換サーバーと同様にTokiosでも利用可能だ。コネクターは設定した任意の/v1 BaseUrlへ接続するが、実際にその機能を実装しているサーバーが何であれ関係ない。TokiosのドキュメントではOllama、llama.cpp、vLLM、LM Studioが主なバックエンドとして紹介されている（対応バックエンド一覧参照）が、SGLangも同様に動作する。問題が生じた場合、それはおそらくSGLang自体のOpenAI互換性に起因するもので、Tokios側の問題ではない。

送信専用の接続方法

通常通りSGLangをローカル環境で実行する

SGLangを127.0.0.1上で動作させよう。ループバック以外の範囲にバインドしないこと。その後OpenAI互換サーバーを起動する：

python -m sglang.launch_server --model-path <path-or-repo-id> --port 30000

デフォルトの--port値やSGLangが127.0.0.1または0.0.0.0にバインドされるかどうかはバージョンによって異なる。すでにループバックに設定されていなければ、明示的にループバックに設定すること。

Tokiosコネクターをペアリングする

Sign in at tokios.com/console, open the Setup tab, and click Start pairing. Tokios shows a one-time claim code like TKS-XXXX-XXXX, valid for about 15 minutes.SGLangを実行しているマシン上で、ご使用のOS向けのインストール用コマンドを実行してください。

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

すでに tokios-connector がインストール済みの場合は、そのコードを直接引数として渡してください。

tokios-connector TKS-XXXX-XXXX

Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

コネクターの接続先として SGLang の /v1 API を指定してください。

SGLang’s server speaks the same OpenAI Chat Completions surface Tokios expects. For the basic single-model path, the console’s Setup wizard lets you enter the upstream manually — use http://127.0.0.1:30000/v1. If you’re serving multiple models through a tokios-connector.json config, set the upstream BaseUrl explicitly, including /v1:

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:30000/v1"
  }
}

複数モデル用の設定ファイル形式の詳細はコネクター設定をご覧ください。

デプロイを登録します。

In the Models tab, register the SGLang model and choose a public name — for example, sglang-tunnel. That public name, not SGLang’s local model id, is what clients send in the model field.

APIキーを作成します。

In the Keys tab, click Create key. Optionally scope it to specific deployments with model-name patterns (comma-separated globs, * for all). Copy the sk-tok-… key now — it’s shown only once.

SGLangには自身のサーバーへのリクエスト時にベアラートークンが必須となる起動オプション --api-key が存在します。コネクターと SGLang間のループバック接続におけるセキュリティ強化策として有効ですが、Tokios経由で呼び出し元を認証するのは sk-tok-… キーです。ご使用の SGLangバージョンにおいて、該当フラグの正確な構文や適用範囲が全エンドポイントか /v1 パスのみかを確認してください。

どこからでも利用可能です。

デプロイ名とAPIキーを取得できたら、他のマシンやチームメイトのノートパソコン、あるいはホスティングされたエージェントからでも、OpenAIやAnthropicと互換性のある任意のクライアントからご自身のSGLangモデルに接続可能です。

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "sglang-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="sglang-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model sglang-tunnel

The model field is always your registered deployment name (sglang-tunnel above), never SGLang’s local model id. See Use Claude Code for persisting the environment variables across sessions.

よくある質問

TokiosではSGLangが公式にサポートされていますか？

Ollama、llama.cpp、vLLM、LM StudioがTokiosで最も詳細に記載されているバックエンドです。詳細は対応バックエンド一覧をご覧ください。ただしコネクターはアップストリームの背後にあるサーバーを識別しません。設定したBaseUrl先へリクエストを転送するだけです。SGLangの起動サーバーは他のバックエンドと同じOpenAIチャット補完インターフェースを備えているため、動作も同様です。もしSGLangのOpenAI互換性が他のバックエンドと一部異なる場合でも、それはSGLang側の仕様でありTokiosには関係ありません。

ストリーミング機能は利用できますか？

はい。"stream": trueを設定すれば、呼び出したAPIインターフェースに応じてOpenAIまたはAnthropic形式の標準的なサーバー送信イベント（SSE）が返されます。

SGLang経由で複数のモデルを提供できますか？

Register additional deployments in the Models tab, or use a tokios-connector.json config file to define multiple upstreams and routes for a single connector — useful if you run more than one SGLang process. See Connector config.

SGLangを直接公開せずにチームメイトとアクセス権を共有できますか？

Yes. Create a separate sk-tok-… key per teammate in the Keys tab, and scope each key to only the deployments they need. Revoking a key stops it from authenticating immediately, so you can cut off access without touching SGLang or the connector.

ご自身のモデルは決して外部に流出しません。エンドポイントはどこからでも利用可能です。

SGLangは現在と全く同様の動作を続けます。ローカルホスト上で実行され、/v1以外に外部に公開されるポートやエンドポイントは存在しません。このコネクターは送信専用です。それ以降の認証やルーティング、ストリーミング処理はすべて単一のエンドポイントとして機能し、キーを付与した任意のマシンやチームメイト、エージェントから呼び出すことが可能です。

対応しているバックエンド

名前付きバックエンドの一覧および既定のアップストリームポートをご覧ください。

APIキー

チームメイトやエージェント向けに sk-tok-… キーを作成・スコープ設定・ローテーションできます。

ハードウェアと互換性

サービングとランタイム接続

クライアント接続

比較

どこからでも安全にSGLangサーバーを利用できる

送信専用の接続方法

どこからでも利用可能です。

よくある質問

ご自身のモデルは決して外部に流出しません。エンドポイントはどこからでも利用可能です。

対応しているバックエンド

APIキー

​送信専用の接続方法

​どこからでも利用可能です。

​よくある質問

​ご自身のモデルは決して外部に流出しません。エンドポイントはどこからでも利用可能です。

対応しているバックエンド

APIキー

送信専用の接続方法

どこからでも利用可能です。

よくある質問

ご自身のモデルは決して外部に流出しません。エンドポイントはどこからでも利用可能です。