ワークフローから始める
バックエンドを選択する
Tokios は OpenAI 互換の Chat Completions API を提供するバックエンドにリクエストを転送します。すでに使用しているバックエンドから始めてください。ゼロから選ぶ場合は、お使いの OS とハードウェアに最もシンプルなオプションを使用してください。
現在のセットアップ例については、バックエンドを参照してください。
クライアント用にデプロイに名前を付ける
バックエンドが提供するモデル ID は、クライアントが使用する名前と一致する必要はありません。各 Tokios デプロイに、その役割を表す短い公開名を付けてください。モデルを注意深く比較する
一度に変更するのは一項目だけです。複数のデプロイメントを比較するときは、同じプロンプト、クライアント、バックエンド設定、ハードウェアを維持します。速度と回答の質の両方を記録してください。
再現可能なテストフローには、デプロイメントのベンチマークを使用してください。