メインコンテンツへスキップ
Tokios コネクタは、マシン上で OpenAI 互換 Chat Completions API（/v1/chat/completions）を公開する任意のモデルサーバに転送します。Ollama、llama.cpp、vLLM、LM Studio、MLX Studio、MLX-LM Server はすべて対応しています。ゲートウェイは受信リクエストを Chat Completions に変換してトンネル経由で送信し、コネクタはアップストリームの BaseUrl（tokios-connector.json で設定）に転送します。BaseUrl に パス /v1 を含めて コネクタをサーバに向けます。
常に /v1 を BaseUrl に含め、バックエンドの OpenAI 互換 エンドポイントを使用してください。Ollama の場合は /v1 API です（ネイティブの /api ではありません）。
ローカルモデルが初めてですか？ 最も簡単に実行できる Ollama（ワンコマンド）または LM Studio（ポイントアンドクリックのデスクトップアプリ）から始めましょう。vLLM と SGLang は強力な GPU サーバですが、設定が多くなります。慣れてからより高いスループットのために使いましょう。

​
設定の容易さ

どれを選んでも、Tokios は同じ方法で接続します。アップストリームの BaseUrl（/v1 付き）を設定するだけで、単一のエンドポイントが得られます。
このリストは網羅的なものではありません。コネクタは 任意 の /v1 ベース URL で OpenAI 互換 Chat Completions API を公開するサーバに転送します。SGLang、Xinference、LocalAI なども同様に動作します。Ollama、llama.cpp、vLLM、LM Studio はここで最も詳しくドキュメント化されているものです。
Jan は クライアント としても動作します。ローカルでモデルを提供する代わりに、Tokios 経由で他の場所で動作するより大きなモデルを呼び出すことができます。ご自身のハードウェアのモデルで Jan を使用するをご覧ください。

​
デフォルトポート

対応する Upstream エントリを tokios-connector.json に追加します（ファイル全体の仕様は Connector Config を参照）。
サーバが使用するモデル ID（Ollama の場合は ollama run するもの）が、コネクタの Models / Routes に指定するものです。デプロイメントを登録する際に公開 API 名を付けます。

​
バックエンドの詳細

​
Ollama

アップストリーム: http://127.0.0.1:11434/v1 Ollama は /v1 でポート 11434 に OpenAI 互換 API を提供します。まずモデルをプルして実行します。Ollama に指定する ID がコネクタが提供するアップストリームモデル ID です。

​
llama.cpp

アップストリーム: http://127.0.0.1:8080/v1 同梱の OpenAI 互換サーバ llama-server を実行します。デフォルトでポート 8080 で待ち受け、/v1 を提供します。

​
vLLM

アップストリーム: http://127.0.0.1:8000/v1 vLLM の OpenAI 互換サーバはポート 8000 で待ち受けます。次のコマンドで起動します。

​
LM Studio

アップストリーム: http://127.0.0.1:1234/v1 LM Studio には組み込みの OpenAI 互換サーバがあります。
  1. LM Studio を開き、Developer（ローカルサーバ）タブに移動します。
  2. モデルを読み込んでサーバを起動します。ポート 1234 で待ち受けます。

​
MLX Studio

アップストリーム: http://127.0.0.1:8000/v1 MLX Studio は macOS 14.0 以降（Sonoma、Apple Silicon M1～M4）向けネイティブアプリで、vMLX 推論サーバをラップします。バンドルされる Python 3.12 環境により、ターミナルも pip も venv も不要です。アプリをダウンロードし、Hugging Face の任意の mlx-community リポジトリからモデルを選択して、組み込みの API サーバを起動します。 MLX Studio にはチャット、ビジョン、画像生成、テキスト読み上げ、音声認識、ツール呼び出しが含まれます。推論エンジンは JANG 混合精度量子化、PagedAttention による継続バッチング、スペキュレーティブデコーディング、KV キャッシュ量子化、プレフィックスキャッシングをサポートします。インタラクティブな API ドキュメントとテスト用プレイグラウンドが組み込まれており、メニューバーモードでフルウィンドウなしでクイックアクセスできます。
  1. MLX Studio を開き、Model Manager からモデルをダウンロードします。
  2. API サーバを Server タブから起動します。ポート 8000 で待ち受けます。
MLX Studio は、ターミナルを使わずにネイティブ Apple Silicon 体験を求める Mac ユーザーにとって最も簡単な GUI パスです。同じハードウェアでヘッドレスまたはスクリプト可能な設定には、代わりに MLX-LM Server を使用します。

​
Lemonade Server

アップストリーム: http://127.0.0.1:13305/v1 Lemonade Server は AMD が支援するオープンソースの推論サーバです。ハードウェアを自動検出し、最適なバックエンド（Vulkan、ROCm、CUDA、Metal）を選択するため、手動でバックエンドを選ぶ必要はありません。AMD Ryzen AI NPU をサポートする唯一のバックエンドです。Windows では MSI、Ubuntu では APT PPA、Arch では AUR 経由でインストールします。詳細は lemonade-server.ai を参照してください。 Lemonade Server はデフォルトで /v1 のポート 13305 に OpenAI 互換 API を提供します。Ollama 互換および Anthropic 互換エンドポイントもサポートします。
Lemonade Server は AMD Strix Halo および DGX Spark マシンでの設定を簡素化します。Vulkan または CUDA を自動的に選択し、手動のバックエンドフラグは不要です。

​
MLX-LM Server

アップストリーム: http://127.0.0.1:8080/v1 MLX-LM Server は mlx-lm Python パッケージの一部で、Apple Silicon でネイティブに動作します。MLX フレームワークの統一メモリアーキテクチャをゼロコピーデータパスで使用し、モデル重みは CPU と GPU と同じメモリプールに配置されるため、別の VRAM を管理する必要はありません。パッケージをインストールし、Hugging Face の任意の mlx-community モデルでサーバを起動します。
サーバはデフォルトでポート 8080 で待ち受け、/v1 で OpenAI 互換 Chat Completions API を提供します。継続バッチング、ツール呼び出し、構造化出力、プロンプトキャッシングをサポートします。利用可能な量子化は 4 ビット（デフォルト）、8 ビット、BF16 です。
MLX-LM Server はネイティブ Apple Silicon パスです。M シリーズチップで llama.cpp と同等またはわずかに優れた性能を発揮し、M5 Neural Accelerators（4x高速なプロンプト処理）を最大限に活用します。詳細は mlx-framework.org を参照してください。
別のポートで実行したい場合は、BaseUrl のポートを変更するだけです。OpenAI Chat Completions を話すサーバならどれでも動作します。