Skip to main content
すでにStrix Haloマシン上ではモデルが稼働しています。難しいのは、受信ポートを開放せずにノートパソコンやエディタ、コーディングエージェントからそのモデルに接続することです。Tokiosコネクターをランタイムの隣で実行すれば、https://api.tokios.comという場所に認証済みのエンドポイントが生成され、OpenAIおよびAnthropic双方のリクエスト形式に対応します。これによりClaude Codeやopencode、その他OpenAI互換クライアントでもファイアウォール設定を変更せずにマシンに接続可能です。

​
実行後：エンドポイントのギャップ

Framework Desktop, mini-PC, and other AMD Ryzen AI Max+ 395 (“Strix Halo”) owners buy the 128GB unified-memory configuration specifically to run large local models. On this silicon, the community’s general experience is that llama.cpp with the Vulkan backend is more reliable than ROCm/HIP. モデルがlocalhost上で応答するようになったら、次に多くのユーザーが望むのはopencodeやClaude Codeといったコーディングエージェントをそのモデルに接続することです。そのためには以下が必要となります。
  • 他の場所からアクセス可能なOpenAI互換エンドポイント。デフォルトではランタイムはStrix Haloマシンの 127.0.0.1にバインドされます。ノートパソコンや別の場所で動作するコーディングエージェントから接続するには 0.0.0.0にバインドしたりポートを開放したりトンネルを構築したりする必要があり、それぞれ独自の設定が求められ、クライアントごとの認証機能も備わっていません。
  • APIの形式。Claude CodeはAnthropicのMessages形式を使用しますが、llama.cppやOllama、LM StudioはOpenAIのChat Completions形式を採用しています。これらを相互に接続するには小規模なプロキシを作成・維持する必要があります。
  • ツールが参照すべき安定した場所。同一マシン上で llama.cppやOllama、LM Studioを切り替えたり、読み込むモデルを変更したりしても、それぞれのクライアント側での再設定が不要であるべきです。
Tokiosは既存のランタイムの上に配置される接続レイヤーであり、llama.cppやOllama、LM Studio、vLLMを置き換えるものではありません。
2 ストリクス・ハローのボックスは DeepSeek-V4-Flash-0731 GGUF形式の重みデータを格納するのに十分なメモリ容量を備えているが、必要となる llama.cpp RPCパスは不安定で安全性に欠け、あくまで実証実験用の仕組みに過ぎない。本番環境でのデプロイとして利用すべきではない。実験的な適用範囲については DeepSeek V4 Flashローカルハードウェア を参照されたい。

​
まずStrix Haloボックス上でセットアップを行ってください

1

次にそのボックス上でランタイムを起動します

通常通りモデルサーバーを実行します。例えばVulkanバックエンド上で llama.cpp を利用する場合は次のようにします：
またはLM StudioのローカルサーバーやOllamaを利用することも可能です：
コネクターを追加する前に、そのサーバーがOpenAI互換の /v1 APIに対して正しく応答するか確認してください
2

次にクレームコードを取得し、コネクターをペアリングします

In the dashboard, open the Setup tab and select Start pairing to get a one-time claim code shaped TKS-XXXX-XXXX (valid for about 15 minutes).Linux環境では：
Windows環境（PowerShell）では：
ダッシュボードに戻り、Setup または Connectors タブで該当デバイスを承認します。コネクター用のトークンはトンネル経由で送信されるため、ファイルに手動で貼り付ける必要はありません
3

コネクターの接続先として、ご使用のランタイムが提供する /v1 エンドポイントを指定します

The connector’s upstream is the runtime’s own OpenAI-compatible API on the box, not a port you expose externally. Default ports: llama.cpp 8080, LM Studio 1234, Ollama 11434 (all with /v1 appended; for Ollama use its /v1 OpenAI-compatible API, not the native /api). No inbound firewall rule is needed — the connector only dials out.
4

デプロイを登録する

On the Models tab, map your upstream model id to a public deployment name such as strix-coder. Clients send this deployment name in the model field, not the upstream id.
5

APIキーを作成する

On the Keys tab, create a key. Keys are sk-tok-… Bearer tokens, shown once, and can be scoped to specific deployment name patterns.

​
コーディングエージェントから利用する

コネクターのペアリングとデプロイ登録が完了したら、コーディングエージェントの接続先をボックスのローカルアドレスではなくTokiosに指定します。
Claude Codeのモデル選択画面には claude*IDのみが表示されるため、Tokiosのデプロイはリストに現れません。そのため --model strix-coderを明示的に指定する必要があります。
同一ボックス上で複数のバックエンドを運用する場合、例えば一つのモデル用に llama.cppを、別のモデル用にOllamaを利用する場合は、単一アップストリームのペアリング手順ではなく コネクター設定ファイルを使って複数のルートやアップストリームを定義します。モデルルーティングの項目で、同一エンドポイント下で複数のデプロイを登録・切り替える方法を確認できます。

​
なぜエンドポイントが一つだけなのか

  • エージェント設定を変更せずにバックエンドを切り替え可能。 同一ボックス上で llama.cppからLM StudioやOllamaへ移行しても、strix-coderを利用している既存のエージェントは問題なく動作します。コネクターのアップストリームのみを変更すればよく、クライアント側の設定変更は不要です。
  • 共有バインドアドレスではなくスコープ付きキー。 ランタイムのポートをネットワーク全体に開放する代わりに、特定のデプロイパターンに限定されたAPIキーをチームメンバーに付与できます。
  • ボックス側に受信用ポートは不要。 コネクターは送信接続のみ行うため、ランタイムを 0.0.0.0にバインドしたり、ノートパソコンやコーディングエージェントから接続するための独自のトンネルを維持する必要もありません。

​
Strix HaloでKimi K3を実行できますか？

No. Strix Halo’s 128 GB unified memory pool (~90–110 GB available after OS overhead) is far below what Kimi K3 requires. K3 has 2.8 trillion total parameters and needs about 1.4 TB at its native MXFP4 precision (4 bits per parameter) — before block scales, runtime buffers, activations, and KV cache. Even if you could use every byte of the 128 GB pool for weights, you would still be roughly 1.27 TB short. Moonshotでは、K3をデプロイする際は64基以上のアクセラレーターを搭載したスーパーノードの利用を推奨しています。メモリ要件の詳細やクラスター構成については、Kimi K3向けハードウェア詳細解説をご覧ください。
Looking for a model that actually fits Strix Halo? See what to run instead of Kimi K3 — the best coding and general model for 128 GB unified memory.

​
次の手順

クイックスタート

手順を追うだけでコネクターのデプロイやAPIキーの取得まで完了できます。

コネクターのインストール

各プラットフォーム向けのコネクターインストールおよびペアリング手順の詳細説明です。

Claude Codeの利用方法

Configure ANTHROPIC_BASE_URL and ANTHROPIC_API_KEY in detail.

コネクター設定の詳細リファレンス

Serve multiple models from one box with tokios-connector.json.