https://api.tokios.comにOpenAIとAnthropic両方のリクエスト形式に対応する認証付きエンドポイントが一つでき、Claude Code、OpenAI SDKスクリプト、または招待した誰でも、ルーターに触れることなくボックスにアクセスできる。
動作させた後:エンドポイントのギャップ
デスクトップRTXオーナー — 5090、4090、3090および同様のカード — は通常、Ollama、LM Studio、llama.cpp、またはvLLMでモデルがローカルで応答するところまで到達し、その後次の問題にぶつかる:デスクトップ以外からそのモデルを使うこと。
- 別から到達可能なエンドポイント。 ランタイムはデフォルトで
127.0.0.1にバインドする。ラップトップ、別の場所で実行するコーディングエージェント、またはチームメートのマシンからアクセスするには、0.0.0.0にバインドするか、ホームルーターでポートをフォワードするか、トンネルを構築する必要がある — それぞれに独自の設定が必要で、クライアントごとの認証は前に立たない。 - APIの形状。 Claude CodeはAnthropic Messages形式を話す。Ollama、LM Studio、
llama.cpp、およびvLLMはOpenAI Chat Completionsを話す。両者をブリッジするには通常、小さなプロキシを書いて維持する必要がある。 - ツールを向ける安定した場所。 同じボックス上でOllama、LM Studio、
llama.cpp、またはvLLMの間で切り替えたり、ロードするモデルを変更したりしても、それにアクセスする全クライアントを再設定すべきではない。
llama.cpp、またはvLLMを置き換えるものではない。
DeepSeek-V4-Flash-0731は典型的な単一ワークステーションモデルではない。RTX PRO 6000 Blackwellカードのペアは、その重量フロアに十分な192 GBの合計VRAMを持つが、この2カードパスはコミュニティ検証の領域である。ランタイムとコンテキストの注意事項についてはDeepSeek V4 Flashローカルハードウェアを参照のこと。ワークステーションでのセットアップ
1
Start your runtime on the workstation
通常通りにモデルサーバーを実行します。たとえば:またはLM Studioのローカルサーバー、コネクターを追加する前に、サーバーが独自のOpenAI互換
llama.cpp、vLLMで:/v1 APIに応答することを確認してください。2
Get a claim code and pair the connector
TokiosのdashboardでSetupタブを開き、Start pairingを選択して、Linux:ダッシュボードに戻り、SetupまたはConnectorsタブでデバイスを承認します。コネクターのトークンはトンネル経由で配信され、ファイルに貼り付けることはありません。
TKS-XXXX-XXXX形式のワンタイムペアリングコードを取得します(約15分間有効)。Windows(PowerShell):3
Point the connector at your runtime's /v1 endpoint
コネクターのアップストリームはワークステーション上のランタイム自身のOpenAI互換APIであり、ルーターでフォワードするポートではない。デフォルトポート:Ollama
11434、LM Studio 1234、llama.cpp 8080、vLLM 8000(いずれも末尾に/v1が付加される。OllamaはOpenAI互換の/v1 APIを使用し、ネイティブの/apiは使用しない)。インバウンドのファイアウォールルールやポートフォワードは不要 — コネクターは外向きに接続するのみ。4
Register a deployment
次のModelsタブで、アップストリームモデルIDを
rtx-coderのような公開デプロイ名にマップします。クライアントはこのデプロイ名をmodelフィールドで送信し、アップストリームIDは送信しません。5
Create an API key
次のKeysタブでキーを作成します。キーは
sk-tok-…形式のBearerトークンであり、作成時に一度だけ表示され、特定のデプロイ名パターンにスコープできる。ラップトップまたはエージェントから使用する
コネクターのペアリングとデプロイ登録が完了したら、クライアントをワークステーションのローカルネットワークアドレスではなくTokiosに向けます。Claude Codeのモデルピッカーは
claude*形式のIDのみを表示するため、Tokiosデプロイはリストに現れません。--model rtx-coderを明示的に渡してください。どのくらいのモデルサイズを実行できるか?
どのモデルサイズと量子化が5090、4090、または3090で現実的かはVRAMによって決まり、それはハードウェアの問題であってTokiosの問題ではない。サイズガイダンスについてはローカルモデルの選択を、Tokios経由でトラフィックが流れた後のデプロイメント間のレイテンシとスループットの比較方法についてはデプロイメントのテストを参照のこと。なぜ一つのエンドポイントなのか
- クライアント設定に触れずにバックエンドを切り替えられる。 同じボックス上でOllamaからLM StudioまたはvLLMに移動し、
rtx-coderを既にターゲットにしている全エージェントとスクリプトは動作し続ける — 変更するのはコネクターのアップストリームのみ、クライアントではない。 - ホームのゲームPCにインバウンドポートなし。 コネクターは外向き接続のみ行うため、ルーターでポートをフォワードしたり、ランタイムを
0.0.0.0にバインドしたり、ラップトップやコーディングエージェントからアクセスするために独自のトンネルを維持したりする必要がない。 - 共有バインドアドレスの代わりにスコープ付きキー。 ランタイムのポートをネットワークに公開する代わりに、特定のデプロイメントパターンに制限されたキーをチームメイトに付与する。
次のステップ
Quickstart
ゼロから動作するコネクター、デプロイ、APIキーまで構築します。
Install the connector
全プラットフォーム向けのコネクターインストール・ペアリングリファレンス。
Use Claude Code
設定方法:
ANTHROPIC_BASE_URLとANTHROPIC_API_KEYの詳細。Connector config reference
一台のワークステーションから
tokios-connector.jsonで複数モデルを配信する。