Skip to main content
すでにRTXワークステーション上ではモデルが稼働しています。難しいのは、ゲーミングPCをインターネットに公開せずにノートパソコンやコーディングエージェント、他のメンバーのマシンからアクセスさせることです。Tokiosコネクターをランタイムの隣で実行すれば、https://api.tokios.comに認証済みのエンドポイントが生成され、OpenAIおよびAnthropic双方のリクエスト形式に対応します。そのためClaude CodeやOpenAI SDKスクリプト、招待したユーザーもルーターの設定変更なしにそのマシンにアクセス可能です。

​
実行後の状況：エンドポイントのギャップ

RTXデスクトップユーザー — 5090、4090、3090や類似のグラフィックカードをお持ちの方 — は通常OllamaやLM Studio、llama.cpp、vLLMを使いローカルでモデル応答を行いますが、次なる課題はデスクトップ本体以外の場所からそのモデルを利用することです。
  • 他の場所からアクセス可能なエンドポイント ランタイムはデフォルトで127.0.0.1にバインドされます。ノートパソコンや別の場所で稼働するコーディングエージェント、他のメンバーのマシンからアクセスさせるには0.0.0.0にバインドしたり、ホームルーターでポートを転送したり、トンネルを構築したりする必要があり、それぞれ独自の設定が求められ、クライアントごとの認証機能も備わっていません。
  • APIの形式 Claude CodeはAnthropicのMessages形式を使用しますが、OllamaやLM Studio、llama.cpp、vLLMはOpenAIのChat Completions形式を採用しています。両者を橋渡しするには小規模なプロキシを作成・維持する必要があります。
  • ツールが参照すべき安定した場所 同一マシン上でOllamaやLM Studio、llama.cpp、vLLMを切り替えたり、読み込むモデルを変更したりしても、それに接続するクライアント側の再設定は不要であるべきです。
Tokiosは既存のランタイム上に機能する接続レイヤーであり、OllamaやLM Studio、llama.cpp、vLLMを置き換えるものではありません。
DeepSeek-V4-Flash-0731 is not a typical single-workstation model. A pair of RTX PRO 6000 Blackwell cards has enough 192 GB aggregate VRAM for its weight floor, but this 2-card path is community-validation territory. See DeepSeek V4 Flash local hardware for the runtime and context caveats.

​
ご自身のワークステーション上で設定を行いましょう

1

ワークステーション上でランタイムを起動します

通常通りモデルサーバーを実行してください。例えば次のように：
またはLM Studioのローカルサーバー、llama.cpp、vLLMを利用することも可能です：
コネクターを追加する前に、そのOpenAI互換の/v1 APIが正常に応答するか確認してください。
2

クレームコードを取得し、コネクターをペアリングします

In the dashboard, open the Setup tab and select Start pairing to get a one-time claim code shaped TKS-XXXX-XXXX (valid for about 15 minutes).Windows（PowerShell）では次のように実行します：
Linuxでは次のように実行します：
ダッシュボードに戻り、SetupまたはConnectorsタブで該当デバイスを承認します。コネクター用のトークンはトンネル経由で送信されるため、ファイルに手動で貼り付ける必要はありません。
3

コネクターの接続先をランタイムの /v1エンドポイントに指定します

The connector’s upstream is the runtime’s own OpenAI-compatible API on the workstation, not a port you forward on your router. Default ports: Ollama 11434, LM Studio 1234, llama.cpp 8080, vLLM 8000 (all with /v1 appended; for Ollama use its /v1 OpenAI-compatible API, not the native /api). No inbound firewall rule or port forward is needed — the connector only dials out.
4

デプロイを登録します

On the Models tab, map your upstream model id to a public deployment name such as rtx-coder. Clients send this deployment name in the model field, not the upstream id.
5

APIキーの作成方法

On the Keys tab, create a key. Keys are sk-tok-… Bearer tokens, shown once, and can be scoped to specific deployment name patterns.

​
ノートパソコンやエージェントからの利用方法

コネクターのペアリングとデプロイ登録が完了したら、クライアント側の設定先をワークステーションのローカルネットワークアドレスからTokiosへ切り替えてください。
Claude Codeのモデル選択画面にはclaude*形式のIDのみが表示されるため、Tokios上のデプロイはリストに現れません。その際は--model rtx-coderを明示的に指定する必要があります。
ワークステーション上で複数のバックエンドを運用する場合（例：あるモデルにはOllama、別のモデルにはvLLMを使用する場合）、単一アップストリーム用の設定フローではなく コネクター設定ファイル を用いて複数のルートやアップストリームを定義してください。モデルルーティング の項では、同一エンドポイント下で複数のデプロイを登録・切り替える方法も説明しています。

​
どの程度の規模のモデルを実行可能か？

どのモデルサイズや量子化レベルが5090や4090、3090上で実用的かはVRAM容量次第です。これはTokiosの機能ではなくハードウェアの問題です。ローカルモデルの選定 で適切なサイズ選びの指針を、Tokiosデプロイのベンチマーク でトラフィックがTokios経由になった後のレイテンシやスループットの比較方法を確認してください。
Meta社は Muse Glimmer 30B を特にRTX 5090上でテストし、最大で 3.1xのDFlash速度向上を確認しています。5090の32GB版は -dflashビルドを問題なく動作させられます。24GB版の3090または4090でも 4ビット版（18GB）を完全にメモリに保持可能です。

​
なぜエンドポイントは一つだけなのか

  • クライアント設定を変更せずにバックエンドを切り替え可能。 同一マシン上でOllamaからLM StudioやvLLMへ移行しても、rtx-coderを利用対象としていたエージェントやスクリプトはそのまま動作します。クライアント側を変更する必要はなく、コネクターのアップストリーム先のみを変更すればよいのです。
  • 家庭用ゲーミングPCに受信用ポートは不要。 このコネクターは送信接続のみを行うため、ルーターでポートを開設したり、ランタイムを 0.0.0.0 にバインドしたり、ノートPCやコーディングエージェントから接続するための独自のトンネルを維持する必要もありません。
  • 共有バインドアドレスではなくスコープ付きキー。 ネットワーク全体にランタイムのポートを開放する代わりに、特定のデプロイパターンに限定されたAPIキーをチームメンバーに付与できます。

​
次の手順

クイックスタート

ゼロからコネクター、デプロイ、APIキーを設定して利用可能にする方法。

コネクターのインストール

各プラットフォーム向けのコネクターのインストールおよびペアリング手順の詳細説明。

Claude Codeの利用方法

Configure ANTHROPIC_BASE_URL and ANTHROPIC_API_KEY in detail.

コネクター設定のリファレンス

Serve multiple models from one workstation with tokios-connector.json.