メインコンテンツへスキップ
このガイドを使用して、二つ以上の Tokios デプロイメントを比較します。まずはテストをシンプルに保ちます:同じプロンプト、同じクライアント、同じハードウェア、同じバックエンド設定を使用します。model フィールドのデプロイメント名のみを変更します。

前提条件

基本リクエストのテスト

小さな非ストリーミングリクエストから始めます。キーとモデルを自身の値に置き換えてください。
これにより、認証、デプロイメントのルーティング、コネクタの接続性、およびバックエンドのレスポンス処理が確認されます。

ストリーミングのテスト

次にストリーミング動作をテストします。これは、多くのコーディングエージェントやチャットツールが実際にどのように動作するかに近い状態です。
ストリーミングが停止する場合は、まずローカルバックエンドを直接確認し、次にコネクタのログとクライアントのベース URL を確認してください。

二つのデプロイメントを比較

同じリクエストボディを使用し、model のみを変更します。
結果を小さなテーブルに記録します:

実際のクライアントでテスト

まず curl で動作確認ができたら、使用予定のクライアントを介してテストします。

結果の解釈

一つの数値のみを最適化しないでください。ストリーミングは速いがコーディングタスクに失敗するデプロイメントは、指示に従って確実に動作する遅いモデルよりも劣る場合があります。
最適なデプロイメント名は安定させてください。後でより高速なバックエンドや異なるマシンに移動した場合でも、クライアントは同じ model 値を引き続き使用できます。