librechat.yaml で定義された OpenAI 互換の API にアクセスします。endpoints.custom の下にエントリを追加し、baseURL を https://api.tokios.com/v1 に、apiKey をあなたの sk-tok-… キーに、models に Tokios の デプロイメント 名を指定することで、ポートを公開することなく、LibreChat からローカルモデルとチャットできます。
前提条件
まず、librechat.yaml を編集する前に、以下の準備を行ってください。
コネクタがペアリング済み
モデルの横に
tokios-connector をインストールし、ペアリングします。モデルが登録済み
LibreChat に表示させたいモデルのデプロイメント(公開名)を登録します。
API キーが作成済み
次に、
sk-tok-… キーを作成します。必要に応じて、そのデプロイメントにスコープを限定します。サポートされるバックエンド
ローカルバックエンド(Ollama、llama.cpp、vLLM、LM Studio)が実行中であることを確認します。
Tokios をカスタムエンドポイントとして追加
1
librechat.yaml を開く
LibreChat デプロイメントのルートにある LibreChat の
librechat.yaml 設定ファイルを開きます(または作成します)。正確なデフォルトのファイルパスはリリースによって異なる場合がありますので、ご自身の環境を確認してください。2
カスタムエンドポイントのエントリを追加
次に、
endpoints.custom の下に、baseURL を Tokios に向け、models.default をあなたの 公開デプロイメント名(例:gemma-tunnel)に設定した Tokios 用のブロックを追加します。models.default には、Models タブで登録したデプロイメント名をリストしてください。Ollama、llama.cpp、vLLM、または LM Studio のローカルモデル ID は指定しないでください。正確な YAML キー名とネスト構造は LibreChat のリリース間で変更される可能性があるため、インストール環境に合わせてキーを確認してください。3
API キーを環境変数として設定
次に、
TOKIOS_API_KEY(または上記で参照した変数名)をあなたの sk-tok-… キーに設定し、LibreChat の .env ファイルに記述します。キーを直接 librechat.yaml に貼り付けないでください。.env
4
LibreChat を再起動
続いて、
librechat.yaml を再読み込みするために LibreChat サーバーを再起動します。Tokios エンドポイントが LibreChat のエンドポイント選択に表示されるはずです。モデルはモデルリストから取得されます
LibreChat のカスタムエンドポイントは、一部のクライアントのようにデプロイメントを自動的に発見するわけではありません。models フィールド(librechat.yaml ブロック内)が、選択器に表示されるものの真のデータソースです。利用可能にしたいすべての Tokios デプロイメントを models.default の下にリストしてください。
お使いの LibreChat のバージョンがカスタムエンドポイントに対してモデルの動的取得をサポートしている場合、それは GET /v1/models を baseURL に対して呼び出すことで行われます。Tokios は /v1/models を実装しており、キーがスコープされたデプロイメントを返すため、フェッチベースの設定も機能します。正確なトグル(例:models.fetch)と動作については、現在のリリースのドキュメントを確認してください。
ホストされた UI、自宅のモデル
この設定で解決する一般的なシナリオは、VPS やコンテナホスト上で LibreChat を実行し、インターネットにそのマシンのポートを公開することなく、自宅のマシンやワークステーションにあるモデルにアクセスしたいというものです。 Tokios コネクタはモデルを実行しているマシンから外向きにのみ接続を行うため、以下を行う必要はありません。- リモートの LibreChat インスタンスがアクセスできるように、バックエンドを
0.0.0.0にバインドする(例:OLLAMA_HOST=0.0.0.0)。 - 着信ポートを開くか、自宅のルーターやファイアウォールに穴を開ける。
- 二つのマシン間で VPN やリバースプロキシを設定する。
https://api.tokios.com/v1 と通信し、あなたの sk-tok-… キーで認証されます。Tokios はリクエストをトンネル経由で、モデルの横で実行中のコネクタにルーティングし、コネクタは常に localhost に留まります。
トラブルシューティング
LibreChat に Tokios エンドポイントが表示されない
LibreChat に Tokios エンドポイントが表示されない
まず、
librechat.yaml が LibreChat が期待するパスにあること(正確な設定発見パスはバージョンによって異なります)、および編集後にサーバーを再起動したことを確認してください。401 エラー
401 エラー
LibreChat が送信した API キーが欠落している、形式が正しくない、または取り消されています。
apiKey で参照される環境変数が、余分な空白なしで完全な sk-tok-… キーを持っていることを確認し、Keys タブでそのステータスを確認してください。403 エラー
403 エラー
キーは存在しますが、
models でリストしたデプロイメントにスコープされていないか、アカウントが停止されています。Keys タブでキーのモデルパターンを確認してください。404 エラー
404 エラー
LibreChat が送信したモデル値が登録されたデプロイメントと一致しません。Models タブ上の公開名と完全に一致することを確認してください。Ollama/llama.cpp/vLLM/LM Studio のローカルモデル ID ではありません。
503 エラー
503 エラー
そのデプロイメントのコネクタがオフラインか、並列処理の上限に達しています。Connectors タブを確認してください。コネクタは Online と表示される必要があり、実行中のマシンがまだ稼働しており到達可能である必要があります。
次に、他の場所でも活用する
LibreChat が Tokios を通じてモデルと通信できるようになれば、同じデプロイメントとキーが、他の OpenAI 互換または Anthropic 互換のクライアントからでも機能します。クライアントごとに追加の設定は不要です。互換性のあるクライアント
他のクライアントのベース URL とキー設定を確認します。
API キー
同じ LibreChat インスタンスを使用するチームメイト用に、個別のスコープ付きキーを作成します。