vLLMをローカルで実行し、Tokiosを通じてどこからでもアクセスできるようにする

このページでは、GPUマシンにvLLMを新規インストールした時点から、リモートから認証付きでアクセス可能なAPIエンドポイントまでの全手順を約5分で解説する。モデルはご自身のハードウェア上に留まり、プロンプトも第三者の推論サーバーを経由することはない。

既にvLLMが動作している場合は？ その場合は手順 3：Tokiosコネクターのインストールへ進んでください。手短な説明が必要な場合は vLLMのリモートアクセスをご覧ください。

前提条件

作業を始める前に、以下の環境が整っていることを確認してください。

1 NVIDIA GPU でCUDAに対応しているもの（RTX 3090、4090、A100、またはDGX Spark）。
CUDA 12.1以降がインストール済みであること（nvidia-smiを実行して確認可能）。
Python 3.9～3.12 環境下で pip が利用可能であること。
A Tokios account (free to sign up).

複数GPU環境の構築方法については、下記のテンサー並列処理を参照してください。

手順 1：vLLMをインストールして起動する

pipを使ってvLLMをインストールします：

pip install vllm

OpenAI互換のサーバーを起動します。必ず 127.0.0.1 にバインドさせ、より広範囲にバインドしないようにしてください：

vllm serve mistralai/Mistral-7B-Instruct-v0.2 \
  --host 127.0.0.1 \
  --port 8000

vLLMは初回実行時にアップストリームモデルIDのモデル重みをダウンロードし、それをGPUメモリに読み込んだ上で http://127.0.0.1:8000 でOpenAI互換のHTTPサーバーを起動します。

サーバーが正常に動作しているか確認します

別のターミナルで以下を実行します：

curl http://127.0.0.1:8000/v1/models

ここでご自身のモデルが一覧に表示されるはずです。

よく使われる起動設定

ご使用のハードウェアに合ったフラグを選択してください：

vllm serve mistralai/Mistral-7B-Instruct-v0.2 \
  --host 127.0.0.1 \
  --port 8000 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --gpu-memory-utilization 0.90 \
  --max-model-len 4096

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --host 127.0.0.1 \
  --port 8000 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

vllm serve meta-llama/Llama-3-8B-Instruct \
  --host 127.0.0.1 \
  --port 8000 \
  --kv-cache-dtype fp8 \
  --max-model-len 16384

--max-model-len はvLLMがKVキャッシュ用に確保するGPUメモリ量を制御します。まずは控えめな値（4096 または 8192）から始め、モデルがメモリ不足なしで読み込めることを確認してから値を増やしてください。メモリ計算の詳細は KVキャッシュとコンテキストをご覧ください。

マルチGPU：テンサー並列処理

For models that don’t fit in 1 GPU, use tensor parallelism across multiple GPUs on the same machine:

# 2 GPUs, tensor parallel
vllm serve meta-llama/Llama-3-70B-Instruct \
  --host 127.0.0.1 \
  --port 8000 \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.90

単一ノードで複数のGPUを利用する場合、パイプライン並列処理よりもテンサー並列処理が推奨されます。これによりデコード段階での帯域幅の利用効率が向上します。

Windows（WSL2）

vLLMはWindows上でネイティブに動作しません。WSL2内でGPUパススルー機能付きのDockerを利用してください。

# docker-compose.yml
services:
  vllm:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    ports:
      - "127.0.0.1:8000:8000"
    volumes:
      - ~/.cache/huggingface:/root/.cache/huggingface
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
    command: >
      --model mistralai/Mistral-7B-Instruct-v0.2
      --host 0.0.0.0
      --port 8000
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

docker compose up

手順 2：ローカル環境でテストする

リモートアクセスを設定する前に、vLLMが正しく応答するか確認してください。

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-7B-Instruct-v0.2",
    "messages": [{"role": "user", "content": "Write hello world in Python"}],
    "max_tokens": 100
  }'

有効なチャット完了レスポンスが返ってくるはずです。

手順 3：Tokiosコネクターをインストールする

The connector dials out from your machine to https://api.tokios.com. No inbound port opens. No port forwarding. No DNS record. Sign in at tokios.com/console, open the Setup tab, and click Start pairing. Tokios shows a one-time claim code like TKS-XXXX-XXXX, valid for about 15 minutes. vLLMが動作しているマシン上でインストールコマンドを実行してください。

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

すでに tokios-connector がインストール済みですか？その場合はコードを直接指定してください。

tokios-connector TKS-XXXX-XXXX

Back in the console, click Approve on the Setup or Connectors tab. The connector’s token (ct-tok-…) is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

手順 4：コネクターをvLLMに向ける

vLLMのOpenAI互換サーバーは、Tokiosが求める形式に完全に準拠している。単一モデルの場合、コンソールのセットアップウィザードでは自動的に http://127.0.0.1:8000/v1 が選択される。複数モデルやカスタム設定を利用する際は、tokios-connector.json を作成してください。

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8000/v1"
  }
}

複数モデル用のファイル形式の詳細については、コネクター設定をご覧ください。

手順 5：デプロイを登録する

In the Models tab, register your vLLM model and choose a public name — for example, mistral-tunnel. この公開名がクライアント側から model フィールドに送信される値となります。この値はvLLM側のローカルモデルIDとは無関係なので、アップストリームモデルを変更してもクライアント設定に影響はありません。

LoRAアダプターを利用する場合は、--enable-lora --lora-modules adapter1=/path/to/adapter オプション付きでvLLMを起動し、各アダプターを個別のTokiosデプロイとして登録します。モデルルーティングも参照してください。

手順 6：APIキーを作成する

In the Keys tab, click Create key.

必要に応じて、モデル名のパターンを指定して特定のデプロイにのみ適用することも可能です（カンマ区切りのグロブ表記で、全デプロイには * を指定します）。
今すぐ sk-tok-… というAPIキーをコピーしてください。このキーは一度きりしか表示されません。

複数のAPIキーを作成できます。チームメイトやエージェント、環境ごとにそれぞれ一つずつ設定可能で、個別に無効化も可能です。

手順 7：任意のクライアントから接続する

ご使用のvLLMモデルは現在 https://api.tokios.com からアクセス可能です。呼び出し方法は以下の通りです：

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Write hello world in Rust"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="mistral-tunnel",
    messages=[{"role": "user", "content": "Write hello world in Rust"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mistral-tunnel

export OPENAI_API_KEY=sk-tok-YOUR_KEY
aider --openai-api-base https://api.tokios.com/v1 \
      --model openai/mistral-tunnel

{
  "baseURL": "https://api.tokios.com/v1",
  "apiKey": "sk-tok-YOUR_KEY",
  "model": "mistral-tunnel"
}

The model field is always your registered deployment name (mistral-tunnel), never vLLM’s local model id.

セキュリティモデル：送信専用のトンネル

これがSSHトンネルやポートフォワーディング、Tailscaleと異なる点は以下の通りです：

Your GPU machine                  api.tokios.com               Remote client
──────────────                    ──────────────               ─────────────
vLLM ─┐                                                        sk-tok-… key
  (localhost:8000)                                               │
       ├─ connector ──► outbound TLS tunnel ──► gateway ──────► HTTPS
       │  (no inbound     (initiates             (auth +       request
       │   port open)      connection)            routing)
       └─ nothing listens
          on any port

プロパティ	ご使用の設定内容
受信用ポートが開放されているか	0
パブリックIPが必要か	不要
CGNAT環境下でも利用可能	はい
認証方式	`sk-tok-…` bearer token per request
キーのスコープ設定	デプロイごと、ユーザーごとに管理
暗号化処理	TLSによるエンドツーエンド暗号化
SSEストリーミング機能	バッファリングなしのネイティブ実装

ご利用のvLLMプロセスは一切変更されません。依然として 127.0.0.1:8000 上で動作し、外部からはアクセス不可能です。コネクターのみがそのプロセスに接続可能で、コネクターも外向きの通信のみ行います。

コネクターとvLLM間のループバック接続において、vLLM側で --api-key フラグを有効にしておくことで多層防御が実現できます。Tokios経由のクライアントリクエストは sk-tok-… APIキーで認証され、コネクターのみが 127.0.0.1:8000 へのアクセスを許可されています。

よくある質問

ストリーミング機能は利用可能ですか？

はい。"stream": trueを設定すれば、呼び出したAPIの種類に応じてTokiosがOpenAI形式またはAnthropic形式の標準的なサーバー送信イベント（SSE）を返します。

複数のモデルを同時に提供できますか？

はい。Modelsタブで追加のデプロイを登録するか、tokios-connector.json設定ファイルを用いて複数のアップストリームモデルIDやルートを定義できます。コネクター設定もご覧ください。

チームメイトと利用権限を共有できますか？

Yes. Create a separate sk-tok-… key per teammate in the Keys tab. Scope each key to only the deployments they need. Revoking a key cuts access immediately.

vLLMが再起動した場合はどうなりますか？

コネクターはvLLMが再起動した際に自動的に再接続します。手動での操作は不要で、単にvLLMを再起動すればエンドポイントも復旧します。

Windows環境でも利用可能ですか？

はい。WSL2内でDockerを使いvLLMを実行すれば（上記のWSL2設定も参照）、Windowsホスト側またはWSL2内にTokiosコネクターをインストールできます。どちらでも問題ありません。

どこからでも利用可能なあなた専用のvLLM

vLLMはこれまで通りローカルホスト上のGPUで稼働し続け、外部へのポート開放も不要です。コネクターは外部への接続のみ行います。認証、ルーティング、ストリーミング、キー管理といった処理はすべて、キーを付与した任意のマシンやチームメイト、エージェントから呼び出せる単一のエンドポイントで処理されます。

クイックスタート

コネクターをペアリングし、最初のモデルを一貫してデプロイします。

APIキー

チームメンバーやエージェント向けに sk-tok-… キーを作成・スコープ設定・更新できます。

互換性のあるクライアント

39 クライアントが正常に動作することが確認されています。コーディングエージェントやチャットアプリ、SDKなどが該当します。

リモートアクセスの比較

TokiosがTailscale、Cloudflare Tunnel、SSHトンネルとどのように異なるかを解説します。

ハードウェアと互換性

サービングとランタイム接続

クライアント接続

比較

vLLMをローカルで実行し、Tokiosを通じてどこからでもアクセスできるようにする

前提条件

手順 1：vLLMをインストールして起動する

サーバーが正常に動作しているか確認します

よく使われる起動設定

マルチGPU：テンサー並列処理

Windows（WSL2）

手順 2：ローカル環境でテストする

手順 3：Tokiosコネクターをインストールする

手順 4：コネクターをvLLMに向ける

手順 5：デプロイを登録する

手順 6：APIキーを作成する

手順 7：任意のクライアントから接続する

セキュリティモデル：送信専用のトンネル

よくある質問

どこからでも利用可能なあなた専用のvLLM

クイックスタート

APIキー

互換性のあるクライアント

リモートアクセスの比較

​前提条件

​手順 1：vLLMをインストールして起動する

​サーバーが正常に動作しているか確認します

​よく使われる起動設定

​マルチGPU：テンサー並列処理

​Windows（WSL2）

​手順 2：ローカル環境でテストする

​手順 3：Tokiosコネクターをインストールする

​手順 4：コネクターをvLLMに向ける

​手順 5：デプロイを登録する

​手順 6：APIキーを作成する

​手順 7：任意のクライアントから接続する

​セキュリティモデル：送信専用のトンネル

​よくある質問

​どこからでも利用可能なあなた専用のvLLM

クイックスタート

APIキー

互換性のあるクライアント

リモートアクセスの比較

前提条件

手順 1：vLLMをインストールして起動する

サーバーが正常に動作しているか確認します

よく使われる起動設定

マルチGPU：テンサー並列処理

Windows（WSL2）

手順 2：ローカル環境でテストする

手順 3：Tokiosコネクターをインストールする

手順 4：コネクターをvLLMに向ける

手順 5：デプロイを登録する

手順 6：APIキーを作成する

手順 7：任意のクライアントから接続する

セキュリティモデル：送信専用のトンネル

よくある質問

どこからでも利用可能なあなた専用のvLLM