deepseek-ai/DeepSeek-V4-Flash-0731;R1 蒸馏版仅在硬件无法承载 V4 权重下限时使用。
将任务匹配到模型系列
Tokios 目前不在网关上提供嵌入服务——API 表面仅涵盖对话和消息端点。上述嵌入行用于直接在本地后端运行模型,而非通过 Tokios 部署。
专门为智能体选择模型
编程智能体和其他工具使用客户端比聊天界面更为挑剔。请使用三个标准:- 原生工具/函数调用。 智能体循环依赖模型返回客户端可解析的结构化工具调用。
DeepSeek-V4-Flash-0731是 DeepSeek 当前适用于此工作负载的选项。请使用您实际采用的服务运行时、推理力度和聊天编码进行验证。 - 上下文窗口至少 32–64K,理想情况下 128K 或更大。 智能体逐轮累积文件内容、差异和工具输出,因此短上下文会迅速耗尽。在模型权重之上,按目标上下文长度为 KV 缓存预留显存——参见使模型适配 GPU 或统一内存。
- 指令遵循、结构化输出和宽松的许可证。 Apache-2.0 系列如
Qwen3和gpt-oss在许可方面更易采用,不会遇到授权障碍。
使模型适配硬件
选对模型系列只是一半的决定——模型还必须能装入您实际拥有的显存或统一内存中,并满足所需的上下文长度。参见使模型适配 GPU 或统一内存了解按参数量和量化的尺寸估算。 关于决策的工作流、后端和命名方面——运行哪个后端,以及注册部署后如何命名——参见选择本地模型和后端。选定之后
Tokios 不会替您选择模型;它为您运行的任何模型提供一个稳定的部署端点,可从任何地方调用。注册部署
将选定的模型转化为具有公共名称和 API 密钥的 Tokios 部署。
对比候选模型
在最终确定之前,并排测试两个或更多部署。