https://api.tokios.com/v1 のアドレス、ご自身の sk-tok-… APIキー、そして登録済みの デプロイ 名を指定すれば、どちらのアプリケーションからもローカルモデルを呼び出せます。host.docker.internal の設定やポートフォワーディング、VPNも一切不要です。
前提条件
コネクターのインストールとペアリング
モデルの隣で
tokios-connector を起動し、コンソール上で承認してください。デプロイの登録
モデルに公開用の名前を付けます。例えば
gemma-tunnel などです。これがクライアント側から送信される model の値となります。APIキーの作成
Create an
sk-tok-… key on the Keys tab, optionally scoped to this deployment.ご使用のバックエンドがサポート対象か確認してください
Ollama、llama.cpp、vLLM、LM Studioはいずれもこのコネクターを介して動作します。
Tokiosは
GET /v1/models機能を実装し、OpenAI APIの仕様に準拠しています。そのためAnythingLLMやDifyがプロバイダーの検証を行う際（モデル一覧の取得やエンドポイントの確認など）、OpenAI自体を利用した場合と同様に問題なくチェックが通ります。Tokiosをプロバイダーとして追加する
- AnythingLLM
- Dify
1
オープンLLMプロバイダーの設定画面
AnythingLLM内でSettings→LLM Providerへ進み、プロバイダーリストからGeneric OpenAIを選択します。メニューの経路やプロバイダー名はバージョンによって異なる場合があるので、ご自身の環境をご確認ください。
2
ベースURLを設定する
In Base URL, enter:
3
APIキーを設定する
In API Key, paste your Tokios key:
4
モデル名を設定する
In Model name (also called Chat Model Name in some AnythingLLM versions), enter your Tokios deployment name, for example
gemma-tunnel — not the upstream model id your backend uses locally.5
トークン数やコンテキストウィンドウの設定
ご使用のモデルのコンテキスト長に合わせて Token context window フィールドを設定してください。フィールド名はバージョンによって異なり、保存を行うには特定の値が必須となる場合もあります。
6
保存してテストする
プロバイダー情報を保存した後、ワークスペースでメッセージを送信し、AnythingLLMがTokios経由でモデルに接続できるか確認してください。
No more host.docker.internal
AnythingLLMおよびDifyは共にDocker上で動作することが多く、モデル自体はアプリとは別のマシンやコンテナ上で稼働しているケースも少なくありません。こうした環境分離が多くの自己ホスト型設定で問題の原因となります。コンテナ内の localhostからホスト側に接続できない、各プラットフォームで host.docker.internalの解決方法が統一されない、別マシン上のモデルには独自のポートフォワーディングやVPN設定が必要になる、といった問題が生じます。
AnythingLLMやDifyを https://api.tokios.com/v1に向け設定すればこうした問題はすべて解消されます。このエンドポイントはアプリが稼働するコンテナやホスト、ネットワークの種類に関係なく常に公開かつ安定して利用可能です。モデル隣接のコネクターのみが外部通信を実行するだけで、受信用ポートを開放する必要もありません。
接続が完了したら
これでAnythingLLMやDifyが稼働する場所に関係なく、ご使用のモデルにアクセスできるようになります。同じデプロイ設定やAPIキーは他のOpenAIやAnthropic互換クライアントでも利用可能です。互換性のあるクライアント
Tokiosが対応するクライアントの一覧および各クライアントに必要なベースURLについてご確認ください。
APIキー
各アプリケーションやチームメイトごとにスコープ付きのキーを作成でき、コネクターに手を触れることなくアクセス権を取り消すことも可能だ。