メインコンテンツへスキップ
SillyTavern は、ローカルモデル用のパワーユーザー / ロールプレイ向けフロントエンドであり、プロンプト、サンプリング、キャラクターに対して細粒度の制御を提供します。その Chat Completion バックエンドは、任意のカスタム OpenAI 互換エンドポイントを指定できます。ソースを Custom (OpenAI-compatible) に設定し、https://api.tokios.com/v1 と sk-tok-… キーを入力すると、SillyTavern はご自身のハードウェア上で実行されているモデルを駆動します。

前提条件

コネクタがペアリング済み

SillyTavern が到達するモデルの隣に tokios-connector をインストールし、ペアリングします。

モデルが登録済み

そのモデルのデプロイメント(公開名)を登録します。

API キーが作成済み

次に、sk-tok-… キーを作成します。必要に応じて、そのデプロイメントにスコープを限定します。

サポートされているバックエンド

ローカルバックエンド(Ollama、llama.cpp、vLLM、LM Studio)が実行中であることを確認します。

SillyTavern を Tokios に接続する

1

API Connections を開く

まず、plug アイコンをクリックして、API Connections パネルを開きます。
2

Chat Completion → Custom (OpenAI-compatible) を選択

次に、API を Chat Completion に設定し、次に Chat Completion Source を Custom (OpenAI-compatible) に設定します。
3

エンドポイントとキーを設定

カスタムエンドポイントのフィールドに入力します:
使用するのは https://api.tokios.com/v1 です。SillyTavern は /chat/completions を独自に追加するため、付加しないでください。接続に失敗して /v1 を省略していた場合は、これを追加することが最初の試行です。
4

モデルとしてデプロイメントを入力し、接続

入力するのは 公開デプロイメント名(Models タブで登録したもの、例:gemma-tunnel)をモデル ID として入力し、Connect をクリックします。これは SillyTavern が model フィールドで送信する値であり、バックエンドのローカルモデル ID ではありません。
ここで、gemma-tunnel は登録したデプロイメント名に、sk-tok-YOUR_KEY はご自身のキーに置き換えてください。いずれも共有設定ファイルにコミットしないでください。

パワーユーザー向けフロントエンド、ハードウェア上のモデル

SillyTavern はプロンプトとサンプリングに対して深い制御を提供し、Tokios は実行中のモデルに安定した認証済みエンドポイントを付与します。モデル隣のコネクタは Tokios へダイヤルアウトし、SillyTavern(同じマシン上または別のマシン上)は https://api.tokios.com/v1 を sk-tok-… キーで呼び出します。プロンプトとキャラクターはご自身のものであり、Tokios に触れるのはコネクタのアウトバウンドトンネルのみです。

トラブルシューティング

SillyTavern が送信した API キーが不足、形式不正、または取り消されています。余分な空白なしで完全な sk-tok-… キーを貼り付けたことを確認し、Keys タブでそのステータスを確認してください。
モデル値が登録済みデプロイメントと一致しないか、ベース URL が誤っています。モデル名が Models タブ上の公開名と一致し、ベース URL が https://api.tokios.com/v1 であり、付加していないことを確認してください(/chat/completions を付加していないこと)。
そのデプロイメントのコネクタがオフラインであるか、並列処理上限に達しています。Connectors タブを確認してください。コネクタは Online と表示される必要があり、実行中のマシンは稼働中かつ到達可能である必要があります。

次のステップ

互換クライアント

その他の OpenAI 互換および Anthropic 互換クライアントのベース URL とキーの設定を確認します。

API キー

チームメンバーやエージェント用の sk-tok-… キーを作成、スコープ設定、ローテーションします。