model の値を変更することでモデルを切り替えます。
API 形状の選択
クライアントの API キーとして Tokios API キーを使用します。クライアントのモデル名として登録したデプロイメント名を使用します。
推奨されるセットアップ手順
1
一つの既知の正常なバックエンドから始める
まず Ollama、llama.cpp、vLLM、LM Studio のような一つのローカルバックエンドを実行します。コーディングエージェントを追加する前に、OpenAI 互換の
/v1/chat/completions エンドポイントをサーブしていることを確認してください。2
一つのデプロイメントを登録する
デプロイメントに
qwen-coder-local や gemma-tunnel のような短く安定した名前を付けます。これはコーディングエージェントが model フィールドで送信する値です。3
エージェントを設定する
エージェントが使用する API 形状のベース URL を設定します。OpenAI スタイルのクライアントは通常
https://api.tokios.com/v1 を使用し、Anthropic スタイルのクライアントは https://api.tokios.com を使用します。4
まず小さなタスクを実行する
大きなリファクタリングを送信する前に、エージェントに小さなファイルを説明させたり、わずかな変更を行わせたりします。これにより、ルーティング、ストリーミング、モデルの動作が確認できます。
比較すべき項目
ローカルモデルでコーディングエージェントをテストする際は、生のモデル速度だけでなく、ワークフロー全体を比較してください。より高速なモデルが常に優れたコーディングモデルであるわけではありません。エージェントワークフローでは、生成速度と同様に指示の遵守とリポジトリの理解が重要です。
次のステップ
Claude Code を使用する
設定します
ANTHROPIC_BASE_URL と ANTHROPIC_API_KEY 。OpenAI Codex を使用する
追加します Tokios を Codex モデルプロバイダーとして
config.toml で。デプロイメントをベンチマークする
デプロイメント間でレイテンシ、ストリーミング、タスクの動作を比較します。
複数のモデルをルーティングする
一つのエンドポイントを維持し、
model フィールドでモデルを切り替えます。