セットアップと接続
The connector starts but my requests return 503
The connector starts but my requests return 503
A
503 means the Tokios gateway can’t reach an active connector tunnel for the requested model. Check that:- コネクタープロセスが現在も実行中で、正常に接続されていること。
- APIリクエスト内のモデル名がコンソールで登録したデプロイ名と一致していること。
- デバイスがペアリング時に承認され、コンソールの Connectors タブ内でオンライン状態として表示されていること。(高度なマルチモデル設定ファイルを使用している場合は、
ConnectorIdおよびtokios-connector.json内のアップストリーム情報がコンソールに表示されるコネクター情報と一致していることも確認してください。)
ファイアウォールのポートを開放する必要はありますか?
ファイアウォールのポートを開放する必要はありますか?
いいえ。コネクターはWebSockets経由でポート 443 を使いTokiosへアウトバウンド接続するだけです。ファイアウォールの設定変更は不要であり、ご利用のマシン上でインバウンド接続を待ち受けるプロセスも存在しません。
コネクターを、モデルが存在するマシンとは別のマシンで実行することは可能ですか?
コネクターを、モデルが存在するマシンとは別のマシンで実行することは可能ですか?
可能です。アップストリームの
BaseUrl を別のマシンを指すように設定してください。例えば http://192.168.1.50:11434/v1 のように。特別な設定は不要です。コネクターは自身の設定ファイルに記載されたホストのみにリクエストを転送し、ゲートウェイから提供されるURLには送信しません。特定のホストにアップストリームを固定したい場合は AllowedHosts にそのホスト名を追加してください。その後で BaseUrl を別の場所を指すように変更しても起動時にエラーとなります。詳細は コネクター設定 をご覧ください。APIの互換性
TokiosはどのようなAPIインターフェースをサポートしていますか?
TokiosはどのようなAPIインターフェースをサポートしていますか?
三種類あります。OpenAIのチャット補完機能 (
/v1/chat/completions)、Anthropicのメッセージ機能 (/v1/messages)、OpenAIのレスポンス機能 (/v1/responses) に加え /v1/models および /v1/messages/count_tokens も利用可能です。ゲートウェイがメッセージやレスポンスデータをご利用のモデル向けのチャット補完形式に変換します。ただし、各ベンダー固有のバックエンドに依存する機能(OpenAIのアシスタント機能やファイル管理、ファインチューニングなど)は利用できません。ストリーミング形式のレスポンスを利用できますか?
ストリーミング形式のレスポンスを利用できますか?
可能です。リクエスト本文内で
"stream": true を指定してください。Tokiosはすべてのインターフェースにおいて標準的なOpenAI/Anthropic形式のストリーミングデータを返します。クライアントが /v1 へリクエストを送信しますが、問題なく動作しますか?
クライアントが /v1 へリクエストを送信しますが、問題なく動作しますか?
問題ありません。SDKを利用する場合はベースURLを
https://api.tokios.com/v1 (/v1 の接尾辞付き)に設定してください。ANTHROPIC_BASE_URL を使用するAnthropic風のクライアントでは https://api.tokios.com を設定します(/v1 は不要で、クライアント側でパスが付加されます)。ご利用のクライアントのドキュメントでどの形式が求められているかご確認ください。ローカルモデル
Tokiosは私のプロンプトやモデルのレスポンスを保存しますか?
Tokiosは私のプロンプトやモデルのレスポンスを保存しますか?
デフォルトでは保存されません。Tokiosは各リクエストをトンネル経由でローカルモデルへ送信し、レスポンスをストリーム形式で返します。利用状況ページに記録される情報はトークン数や遅延時間、ステータス、識別子のみで、レスポンス本体は一切保存されません。A workspace admin can turn on request logging in the dashboard’s Settings. Tokios then keeps the request body of each API call for 7 days, encrypted at rest, with attachments stripped and secret-looking text redacted, and shows it under Prompt when you open a request in the request log. Only your workspace’s users can read stored prompts: admins see all of them, members only those sent with their own keys, and someone you shared a key with only if you allowed it for that key. You can turn it off, or delete every stored prompt, at any time. See Request logging.
どのようなモデルバックエンドがサポートされていますか?
どのようなモデルバックエンドがサポートされていますか?
OpenAI互換のチャット完了用APIを提供するサーバーであれば何でも利用可能です。Ollama、llama.cpp、vLLM、LM Studioが最も一般的です。アップストリームモデルID(
BaseUrl)およびその他のパラメータ(/v1)を tokios-connector.json に設定してください。詳細は バックエンド一覧 をご覧ください。複数のモデルを提供することは可能ですか?
複数のモデルを提供することは可能ですか?
可能です。単一のコネクターで
Routes と Upstreams を利用して複数のモデルを提供でき、各モデルごとにデプロイ名(公開名)を登録できます。またモデルごとにコネクターを個別に起動することも可能です。詳細は モデルルーティング機能 をご覧ください。アカウントおよび課金について
Tokiosは無料で利用できますか?
Tokiosは無料で利用できますか?
はい。コミュニティプランはクレジットカード不要で無料提供されており、自身のハードウェア上でTokiosを実行・評価するための全機能が利用可能です。
APIキーを無効化するにはどうすればよいですか?
APIキーを無効化するにはどうすればよいですか?
コンソール画面で API Keys に移動し、該当キーを探して Revoke をクリックしてください。そうするとそのキーによる認証が即座に無効化されます。