メインコンテンツへスキップ
RTXワークステーションはすでにモデルを動作させている。難しいのは、ゲーム用PCをインターネットに公開せずに、ラップトップ、コーディングエージェント、またはチームメートのマシンからそこにアクセスすることだ。ランタイムの隣でTokiosコネクターを実行すれば、https://api.tokios.comにOpenAIとAnthropic両方のリクエスト形式に対応する認証付きエンドポイントが一つでき、Claude Code、OpenAI SDKスクリプト、または招待した誰でも、ルーターに触れることなくボックスにアクセスできる。

動作させた後:エンドポイントのギャップ

デスクトップRTXオーナー — 5090、4090、3090および同様のカード — は通常、Ollama、LM Studio、llama.cpp、またはvLLMでモデルがローカルで応答するところまで到達し、その後次の問題にぶつかる:デスクトップ以外からそのモデルを使うこと。
  • 別から到達可能なエンドポイント。 ランタイムはデフォルトで127.0.0.1にバインドする。ラップトップ、別の場所で実行するコーディングエージェント、またはチームメートのマシンからアクセスするには、0.0.0.0にバインドするか、ホームルーターでポートをフォワードするか、トンネルを構築する必要がある — それぞれに独自の設定が必要で、クライアントごとの認証は前に立たない。
  • APIの形状。 Claude CodeはAnthropic Messages形式を話す。Ollama、LM Studio、llama.cpp、およびvLLMはOpenAI Chat Completionsを話す。両者をブリッジするには通常、小さなプロキシを書いて維持する必要がある。
  • ツールを向ける安定した場所。 同じボックス上でOllama、LM Studio、llama.cpp、またはvLLMの間で切り替えたり、ロードするモデルを変更したりしても、それにアクセスする全クライアントを再設定すべきではない。
Tokiosは、すでに実行しているランタイムの上に位置する接続レイヤーであり — Ollama、LM Studio、llama.cpp、またはvLLMを置き換えるものではない。
DeepSeek-V4-Flash-0731は典型的な単一ワークステーションモデルではない。RTX PRO 6000 Blackwellカードのペアは、その重量フロアに十分な192 GBの合計VRAMを持つが、この2カードパスはコミュニティ検証の領域である。ランタイムとコンテキストの注意事項についてはDeepSeek V4 Flashローカルハードウェアを参照のこと。

ワークステーションでのセットアップ

1

Start your runtime on the workstation

通常通りにモデルサーバーを実行します。たとえば:
またはLM Studioのローカルサーバー、llama.cpp、vLLMで:
コネクターを追加する前に、サーバーが独自のOpenAI互換/v1 APIに応答することを確認してください。
2

Get a claim code and pair the connector

TokiosのdashboardでSetupタブを開き、Start pairingを選択して、TKS-XXXX-XXXX形式のワンタイムペアリングコードを取得します(約15分間有効)。Windows(PowerShell):
Linux:
ダッシュボードに戻り、SetupまたはConnectorsタブでデバイスを承認します。コネクターのトークンはトンネル経由で配信され、ファイルに貼り付けることはありません。
3

Point the connector at your runtime's /v1 endpoint

コネクターのアップストリームはワークステーション上のランタイム自身のOpenAI互換APIであり、ルーターでフォワードするポートではない。デフォルトポート:Ollama 11434、LM Studio 1234、llama.cpp 8080、vLLM 8000(いずれも末尾に/v1が付加される。OllamaはOpenAI互換の/v1 APIを使用し、ネイティブの/apiは使用しない)。インバウンドのファイアウォールルールやポートフォワードは不要 — コネクターは外向きに接続するのみ。
4

Register a deployment

次のModelsタブで、アップストリームモデルIDをrtx-coderのような公開デプロイ名にマップします。クライアントはこのデプロイ名をmodelフィールドで送信し、アップストリームIDは送信しません。
5

Create an API key

次のKeysタブでキーを作成します。キーはsk-tok-…形式のBearerトークンであり、作成時に一度だけ表示され、特定のデプロイ名パターンにスコープできる。

ラップトップまたはエージェントから使用する

コネクターのペアリングとデプロイ登録が完了したら、クライアントをワークステーションのローカルネットワークアドレスではなくTokiosに向けます。
Claude Codeのモデルピッカーはclaude*形式のIDのみを表示するため、Tokiosデプロイはリストに現れません。--model rtx-coderを明示的に渡してください。
ワークステーションで複数のバックエンドを実行している場合 — たとえばOllamaで一つのモデル、vLLMでもう一つ — は、単一アップストリームのペアリングフローではなくコネクター設定ファイルを使用して複数のルートとアップストリームを定義してください。同じエンドポイントの背後で複数のデプロイを登録・切り替える方法についてはモデルルーティングを参照ください。

どのくらいのモデルサイズを実行できるか?

どのモデルサイズと量子化が5090、4090、または3090で現実的かはVRAMによって決まり、それはハードウェアの問題であってTokiosの問題ではない。サイズガイダンスについてはローカルモデルの選択を、Tokios経由でトラフィックが流れた後のデプロイメント間のレイテンシとスループットの比較方法についてはデプロイメントのテストを参照のこと。
MetaはMuse Glimmer 30BをRTX 5090で特にテストし、そこでの最大のDFlash高速化 — 3.1x — を報告している。5090の32 GBは-dflashビルドを快適に実行する。24 GBの3090または4090はプレーンな4ビットビルド(18 GB)を完全に常駐させる。

なぜ一つのエンドポイントなのか

  • クライアント設定に触れずにバックエンドを切り替えられる。 同じボックス上でOllamaからLM StudioまたはvLLMに移動し、rtx-coderを既にターゲットにしている全エージェントとスクリプトは動作し続ける — 変更するのはコネクターのアップストリームのみ、クライアントではない。
  • ホームのゲームPCにインバウンドポートなし。 コネクターは外向き接続のみ行うため、ルーターでポートをフォワードしたり、ランタイムを0.0.0.0にバインドしたり、ラップトップやコーディングエージェントからアクセスするために独自のトンネルを維持したりする必要がない。
  • 共有バインドアドレスの代わりにスコープ付きキー。 ランタイムのポートをネットワークに公開する代わりに、特定のデプロイメントパターンに制限されたキーをチームメイトに付与する。

次のステップ

Quickstart

ゼロから動作するコネクター、デプロイ、APIキーまで構築します。

Install the connector

全プラットフォーム向けのコネクターインストール・ペアリングリファレンス。

Use Claude Code

設定方法: ANTHROPIC_BASE_URLとANTHROPIC_API_KEYの詳細。

Connector config reference

一台のワークステーションからtokios-connector.jsonで複数モデルを配信する。