deepseek-ai/DeepSeek-V4-Flash-0731 です。R1 ディスティルはハードウェアが V4 の重量をサポートできない場合にのみ使用してください。
タスクをファミリーに照合する
現時点で Tokios はゲートウェイで埋め込みを提供していません。API 表面はチャットとメッセージエンドポイントのみをカバーしています。上記の埋め込み行は、Tokios デプロイメントを通じてではなく、バックエンドでローカルにモデルを実行するためのモデル選択用です。
特にエージェント用モデルを選ぶ
コーディングエージェントやその他のツールを使用するクライアントは、チャット UI よりも厳しい基準を求めます。三つの基準を使用します。- ネイティブなツール/関数呼び出し。 エージェントループは、クライアントが解析可能な構造化されたツール呼び出しをモデルが返すことに依存します。
DeepSeek-V4-Flash-0731はこのワークロード向けの現時点での DeepSeek の選択肢です。使用するサービングランタイム、推論 effort、チャットエンコーディングで正確に検証してください。 - 少なくとも 32–64K、理想的には 128K 以上のコンテキストウィンドウ。 エージェントはターンごとにファイルの内容、差分、ツール出力を蓄積するため、短いコンテキストはすぐにいっぱいになります。モデルウェイトの上に、目標のコンテキスト長での KV キャッシュ用の VRAM をバジェットに計上してください。— モデルを GPU または統合メモリに合わせる を参照。
- 指示追随、構造化出力、そして寛容なライセンス。
Qwen3やgpt-ossなどの Apache-2.0 ファミリーは、ライセンス上の摩擦なく導入しやすくなっています。
ハードウェアに合わせる
正しいファミリーを選ぶことは意思決定の半分に過ぎません。モデルは、実際に必要なコンテキスト長で、実際に持っている VRAM または統合メモリに収まる必要があります。パラメータ数と量子化ごとのサイズ見積もりについては、モデルを GPU または統合メモリに合わせる を参照してください。 ワークフローとバックエンド、命名の側面 — どのバックエンドで実行し、登録後にデプロイメントを何と呼ぶか — については、ローカルモデルとバックエンドを選択する を参照してください。選んだ後
Tokios はモデルを代わりに選びません。実行しているものに、どこからでも呼び出せる安定したデプロイメントエンドポイントを提供します。デプロイメントを登録する
選んだモデルを公開名と API キー付きの Tokios デプロイメントにします。
候補を比較する
最終決定前に複数のデプロイメントを並べてテストします。