跳转到主要内容
请根据选择标准来挑选模型,而非追逐当下最热门的名字:如果运行智能体,需要原生工具调用支持;关注上下文窗口与显存预算的匹配;考虑许可证;以及模型的指令遵循能力。对于 DeepSeek,当前应评估的检查点是 deepseek-ai/DeepSeek-V4-Flash-0731;R1 蒸馏版仅在硬件无法承载 V4 权重下限时使用。
具体的模型名称和版本号更新很快——本季度领先的模型可能数月内即被取代。请将下表作为模型系列和选择标准的起点,查阅源链接,并在投入硬件之前重新确认各系列当前最新的版本。

将任务匹配到模型系列

Tokios 目前不在网关上提供嵌入服务——API 表面仅涵盖对话和消息端点。上述嵌入行用于直接在本地后端运行模型,而非通过 Tokios 部署。
对于 DeepSeek-V4-Flash-0731 检查点,请先参阅本地硬件指南。其 1M token 的规格并不意味着每种本地配置都有足够的 KV 缓存容量来支持该上下文长度。

专门为智能体选择模型

编程智能体和其他工具使用客户端比聊天界面更为挑剔。请使用三个标准:
  1. 原生工具/函数调用。 智能体循环依赖模型返回客户端可解析的结构化工具调用。DeepSeek-V4-Flash-0731 是 DeepSeek 当前适用于此工作负载的选项。请使用您实际采用的服务运行时、推理力度和聊天编码进行验证。
  2. 上下文窗口至少 32–64K,理想情况下 128K 或更大。 智能体逐轮累积文件内容、差异和工具输出,因此短上下文会迅速耗尽。在模型权重之上,按目标上下文长度为 KV 缓存预留显存——参见使模型适配 GPU 或统一内存。
  3. 指令遵循、结构化输出和宽松的许可证。 Apache-2.0 系列如 Qwen3 和 gpt-oss 在许可方面更易采用,不会遇到授权障碍。
像 Roo Code 这样的客户端硬性要求原生工具调用。如果底层模型不支持,客户端无法将响应解析为操作,会反复重试同一步骤而非继续推进——这是模型的局限性,不是 Tokios 或连接器的问题。

使模型适配硬件

选对模型系列只是一半的决定——模型还必须能装入您实际拥有的显存或统一内存中,并满足所需的上下文长度。参见使模型适配 GPU 或统一内存了解按参数量和量化的尺寸估算。 关于决策的工作流、后端和命名方面——运行哪个后端,以及注册部署后如何命名——参见选择本地模型和后端。

选定之后

Tokios 不会替您选择模型;它为您运行的任何模型提供一个稳定的部署端点,可从任何地方调用。

注册部署

将选定的模型转化为具有公共名称和 API 密钥的 Tokios 部署。

对比候选模型

在最终确定之前,并排测试两个或更多部署。