https://api.tokios.comにOpenAIとAnthropic両方のリクエスト形式に対応する認証付きエンドポイントが一つでき、Claude Code、opencode、またはOpenAI互換のクライアントがファイアウォールルールに触れることなくボックスにアクセスできる。
動作させた後:エンドポイントのギャップ
Framework Desktop、ミニPC、およびその他のAMD Ryzen AI Max+ 395(“Strix Halo”)オーナーは、大規模なローカルモデルを実行するために128GBのユニファイドメモリ構成を具体的に購入している。このシリコンでは、コミュニティの一般的な経験として、llama.cppのVulkanバックエンドがROCm/HIPよりも信頼性が高い。
モデルがローカルホストで応答した後、ほとんどの人が次にやりたいのは、コーディングエージェント — opencode、Claude Code、または同様のツール — を接続することだ。それは以下を意味する:
- 別から到達可能なOpenAI互換エンドポイント。 ランタイムはデフォルトでStrix Haloボックス上の
127.0.0.1にバインドする。ラップトップまたは別の場所で実行するコーディングエージェントからアクセスするには、0.0.0.0にバインドするか、ポートを開放するか、トンネルを構築する必要がある — それぞれに独自の設定が必要で、クライアントごとの認証は前に立たない。 - APIの形状。 Claude CodeはAnthropic Messages形式を話す。
llama.cpp、Ollama、およびLM StudioはOpenAI Chat Completionsを話す。両者をブリッジするには通常、小さなプロキシを書いて維持する必要がある。 - ツールを向ける安定した場所。 同じボックス上で
llama.cpp、Ollama、またはLM Studioの間で切り替えたり、ロードするモデルを変更したりしても、それにアクセスする全クライアントを再設定すべきではない。
llama.cpp、Ollama、LM Studio、vLLM、またはLemonade Serverを置き換えるものではない。
Strix Haloボックスでのセットアップ
1
Start your runtime on the box
通常通りにモデルサーバーを実行します。たとえばVulkanバックエンドでまたはLM Studioのローカルサーバー、Ollamaで:Lemonade Server はもう一つのオプションです — Strix Haloハードウェアを自動検出し、Vulkanバックエンドを自動選択するため、手動のバックエンド選択をスキップできます:Lemonade Serverはデフォルトでポート
llama.cppを使用します:13305で待ち受け、/v1にOpenAI互換APIを公開します。AMD Ryzen AI NPUもサポートしており、これは他のバックエンドにはない機能です。完全なセットアップガイドについてはLemonade Serverリモートアクセスを参照のこと。コネクターを追加する前に、サーバーが独自のOpenAI互換/v1 APIに応答することを確認してください。2
Get a claim code and pair the connector
TokiosのdashboardでSetupタブを開き、Start pairingを選択して、Windows(PowerShell):ダッシュボードに戻り、SetupまたはConnectorsタブでデバイスを承認します。コネクターのトークンはトンネル経由で配信され、ファイルに貼り付けることはありません。
TKS-XXXX-XXXX形式のワンタイムペアリングコードを取得します(約15分間有効)。Linux:3
Point the connector at your runtime's /v1 endpoint
コネクターのアップストリームはボックス上のランタイム自身のOpenAI互換APIであり、外部に公開するポートではない。デフォルトポート:
llama.cpp 8080、LM Studio 1234、Ollama 11434、Lemonade Server 13305(いずれも末尾に/v1が付加される。OllamaはOpenAI互換の/v1 APIを使用し、ネイティブの/apiは使用しない)。インバウンドのファイアウォールルールは不要 — コネクターは外向きに接続するのみ。4
Register a deployment
次のModelsタブで、アップストリームモデルIDを
strix-coderのような公開デプロイ名にマップします。クライアントはこのデプロイ名をmodelフィールドで送信し、アップストリームIDは送信しません。5
Create an API key
次のKeysタブでキーを作成します。キーは
sk-tok-…形式のBearerトークンであり、作成時に一度だけ表示され、特定のデプロイ名パターンにスコープできる。コーディングエージェントから使用する
コネクターのペアリングとデプロイ登録が完了したら、コーディングエージェントをボックスのローカルアドレスではなくTokiosに向けます。Claude Codeのモデルピッカーは
claude*形式のIDのみを表示するため、Tokiosデプロイはリストに現れません。--model strix-coderを明示的に渡してください。llama.cppで一つのモデル、Lemonade ServerまたはOllamaでもう一つ — は、単一アップストリームのペアリングフローではなくコネクター設定ファイルを使用して複数のルートとアップストリームを定義してください。同じエンドポイントの背後で複数のデプロイを登録・切り替える方法についてはモデルルーティングを参照ください。
なぜ一つのエンドポイントなのか
- エージェント設定に触れずにバックエンドを切り替えられる。 同じボックス上で
llama.cppからLM StudioまたはOllamaに移動し、strix-coderを既にターゲットにしている全エージェントは動作し続ける — 変更するのはコネクターのアップストリームのみ、クライアントではない。 - 共有バインドアドレスの代わりにスコープ付きキー。 ランタイムのポートをネットワークに公開する代わりに、特定のデプロイメントパターンに制限されたキーをチームメイトに付与する。
- ボックスにインバウンドポートなし。 コネクターは外向き接続のみ行うため、ランタイムを
0.0.0.0にバインドしたり、ラップトップやコーディングエージェントからアクセスするために独自のトンネルを維持したりする必要がない。
Strix HaloでKimi K3は実行できるか?
いいえ。Strix Haloの128 GBユニファイドメモリプール(OSオーバーヘッド後約90〜110 GB利用可能)は、Kimi K3に必要な量に遠く及ばない。K3には2.8兆個の総パラメータがあり、ネイティブ精度で約1.4 TB(MXFP4、パラメータあたり4ビット)が必要だ — ブロックスケール、ランタイムバッファ、アクティベーション、KVキャッシュ之前。128 GBプールの全バイトをウェイトに使えたとしても、約1.27 TB不足する。 MoonshotはK3を64個以上のアクセラレーターを持つスーパーノードで提供することを推奨している。完全なメモリ計算とクラスタサイジングについてはKimi K3ハードウェアディープダイブを参照のこと。次のステップ
Quickstart
ゼロから動作するコネクター、デプロイ、APIキーまで構築します。
Install the connector
全プラットフォーム向けのコネクターインストール・ペアリングリファレンス。
Use Claude Code
設定方法:
ANTHROPIC_BASE_URLとANTHROPIC_API_KEYの詳細。Connector config reference
一台のボックスから
tokios-connector.jsonで複数モデルを配信する。