Skip to main content
Pick by selection criteria, not by whichever name is trending this week: native tool-calling support if you’re running an agent, context window versus your VRAM budget, license, and how well the model follows instructions. For DeepSeek, the current checkpoint to evaluate is deepseek-ai/DeepSeek-V4-Flash-0731; use R1 distills only when your hardware cannot support the V4 weight floor.
具体的模型名称与版本更新极快，本季度处于领先地位的模型数月后便可能被取代。因此，请将下方表格视作挑选模型系列与评估标准的参考起点，务必点击源链接核实各系列的最新版本，再决定硬件配置方案。

​
将任务与对应的模型系列相匹配

目前 Tokios 的网关服务并不提供嵌入功能，其 API 接口仅涵盖聊天与消息相关端点。上文提到的嵌入功能仅用于协助您挑选适合在本地后端运行的模型，而非通过 Tokios 进行部署。
针对 DeepSeek-V4-Flash-0731 版本的校验点，请先参阅 本地硬件指南。该版本所要求的 1M 令牌规格并不意味着所有本地配置都能为如此长的上下文长度提供充足的 KV 缓存容量。

​
如何为智能体挑选合适的模型

编程类智能体及其他需要使用工具的客户端对模型的要求比普通聊天界面更为严苛。请参考以下三项评判标准：
  1. 原生工具/函数调用功能。智能体循环运作依赖于模型返回客户端可解析的结构化工具调用指令。目前 DeepSeek 提供的 DeepSeek-V4-Flash-0731 版本正是适用于此类任务的模型。请务必在您实际使用的运行环境、推理强度及编码格式下对模型进行验证。
  2. 上下文窗口长度至少需达 32 至 64K，理想值应为 128K 或更长。智能体需要逐次处理文件内容、差异对比结果以及各类工具输出，因此较短的上下文窗口极易被占满。除了模型权重外，还需预留足够的显存容量以存储目标上下文长度所需的 KV 缓存数据——详情请参阅 如何根据硬件条件选择适配的模型。
  3. 支持指令遵循与结构化输出，且许可证宽松。 Apache-2.0系列产品，如 Qwen3 和 gpt-oss，因许可证限制较少而更易于部署使用。
诸如 Roo Code 之类的客户端明确要求模型具备原生工具调用能力。若底层模型不支持此功能，客户端便无法将模型响应解析为具体操作指令，进而反复尝试同一步骤而难以取得进展——此现象属于模型本身的局限性，与 Tokios 或连接器并无关联。

​
如何根据硬件条件选择适配的模型

选定合适的模型系列仅是第一步，模型本身还必须能适配您实际拥有的显存或统一内存容量，并满足所需上下文长度要求。关于不同参数规模与量化方式下的模型大小估算，请参阅 如何根据硬件条件选择适配的模型。 至于部署流程、后端选择以及部署名称的设定——即决定采用何种后端服务，以及注册后如何为部署实例命名——请参考 如何选择本地模型与后端服务。

​
选定模型后

Tokios 不会替你挑选模型；它只是为你当前运行的模型提供一个稳定的部署端点，供你在任意位置调用。

注册你的部署

借助公共名称与 API 密钥将所选模型转化为一个 Tokios 部署实例。

对比候选方案

在最终选定之前，请对两个或更多部署实例进行并行基准测试。