Skip to main content
使用本指南比较两个或更多 Tokios 部署。首先保持测试简单:相同的提示、相同的客户端、相同的硬件、相同的后端设置。仅更改 model 字段中的部署名称。

先决条件

  • 正在运行的连接器。请参阅 连接器安装。
  • 一个或多个已注册的部署。请参阅 注册模型。
  • 一个 Tokios API 密钥。请参阅 API 密钥。
  • 在涉及 Tokios 之前即可正常工作的本地后端。请参阅 后端。

测试基本请求

首先进行小型非流式请求。将密钥和模型替换为您自己的值。
这将确认身份验证、部署路由、连接器连接性以及后端响应处理。

测试流式传输

然后测试流式传输行为。这更接近许多编程智能体和聊天工具在实际使用中的体验。
如果流式传输停滞,请直接检查本地后端,然后检查连接器日志和客户端基础 URL。

比较两个部署

使用相同的请求正文,仅更改 model。
将结果记录在小型表格中:

使用实际客户端进行测试

在 curl 工作后,通过您计划使用的客户端进行测试。

解释结果

不要针对单个数字进行优化。快速流式传输但无法完成编码任务的部署,可能比遵循指令更可靠的较慢模型更差。
保持最佳部署名称稳定。如果以后将其移动到更快的后端或不同的机器,客户端可以继续使用该 model 值。