modelの値を変えるだけでモデルを切り替えられます。
API形状を選ぶ
クライアントのAPIキーとしてTokios APIキーを使用してください。クライアントのモデル名として、登録したデプロイ名を使用してください。
推奨セットアップパス
1
既知の正常なバックエンド一つから始める
まずOllama、llama.cpp、vLLM、LM Studioのいずれかのローカルバックエンドを実行してください。コーディングエージェントを追加する前に、OpenAI互換の
/v1/chat/completionsエンドポイントで応答があることを確認してください。2
デプロイを一つ登録する
デプロイには
qwen-coder-localやgemma-tunnelのような短く安定した名前を付けます。これがコーディングエージェントのmodelフィールドで送信される値です。3
エージェントを設定する
エージェントが使用するAPI形状のベースURLを設定します。OpenAIスタイルのクライアントは通常
https://api.tokios.com/v1を使用し、Anthropicスタイルのクライアントはhttps://api.tokios.comを使用します。4
まず小さなタスクを実行する
大きなリファクタリングを送信する前に、エージェントに小さなファイルを説明させたり、わずかな変更を行わせたりしてください。これによりルーティング、ストリーミング、モデルの動作が確認できます。
比較すべき項目
ローカルモデルでコーディングエージェントをテストする際は、生のモデル速度だけでなくワークフロー全体を比較してください。より高速なモデルが常に優れたコーディングモデルとは限りません。エージェントワークフローでは、生成速度と同じくらい指示の遵守とリポジトリの理解が重要です。
次のステップ
Claude Codeを使う
次の環境変数を設定してください:
ANTHROPIC_BASE_URLとANTHROPIC_API_KEY。OpenAI Codexを使う
TokiosをCodexモデルプロバイダーとして
config.tomlに追加します。デプロイをテストする
デプロイ間でレイテンシ、ストリーミング、タスク動作を比較します。
複数のモデルをルーティングする
単一のエンドポイントを維持し、
modelフィールドでモデルを切り替えます。