/v1/chat/completions) on your machine. Ollama, llama.cpp, vLLM, and LM Studio all do. The gateway translates each incoming request to Chat Completions and sends it down the tunnel; the connector forwards it to the upstream BaseUrl you set in tokios-connector.json. Point the connector at your server by setting that BaseUrl — including the /v1 segment.
Always include
/v1 in BaseUrl, and use your backend’s OpenAI-compatible endpoint. For Ollama that’s the /v1 API (not the native /api).設定の容易さ
どのサーバーを選んでも、Tokiosは同じ方法で接続します。アップストリームの
BaseUrl を /v1 と共に設定すれば、単一のエンドポイントが得られます。
This list isn’t exclusive. The connector forwards to any server that exposes an OpenAI-compatible Chat Completions API at a
/v1 base URL — so SGLang, Xinference, TGI, LocalAI, and similar all work too. Ollama, llama.cpp, vLLM, and LM Studio are simply the ones documented most closely here.デフォルトのポート番号
該当するUpstream を tokios-connector.json 内に記入してください（ファイル全体の仕様は コネクター設定 を参照）。
ご使用のサーバーが利用するモデルID（Ollamaの場合は任意の文字列を
ollama run に設定可）は、コネクターの Models および Routes 欄に記載する必要があります。また デプロイを登録する 際には、公開用のAPIキー名も指定する必要があります。バックエンドの詳細情報
Ollama
アップストリーム：http://127.0.0.1:11434/v1
Ollamaは /v1 のポート 11434 上でOpenAI互換のAPIを提供します。まずはご自身のモデルをダウンロードして実行してください。Ollamaに指定したIDが、コネクターが提供するアップストリームモデルIDとなります。
llama.cpp
アップストリームモデルID:http://127.0.0.1:8080/v1
同梱されているOpenAI互換サーバーを実行してください、llama-server。デフォルトでは8080番ポートで待ち受け、/v1を提供します：
vLLM
アップストリームモデルID:http://127.0.0.1:8000/v1
vLLMのOpenAI互換サーバーはポート8000で待ち受けます。次のコマンドで起動してください：
LM Studio
アップストリームモデルID:http://127.0.0.1:1234/v1
LM StudioにはOpenAI互換サーバーが内蔵されています：
- LM Studioを開き、Developer（ローカルサーバー）タブに移動してください。
- モデルを読み込んでサーバーを起動します。サーバーはポート
1234で待ち受けます。