跳转到主要内容
使用本指南比较两个或更多 Tokios 部署。首先保持测试简单:相同的提示、相同的客户端、相同的硬件、相同的后端设置。仅更改 model 字段中的部署名称。

先决条件

  • 一个正在运行的连接器。请参阅连接器安装。
  • 一个或多个已注册的部署。请参阅注册模型。
  • 一个 Tokios API 密钥。请参阅 API 密钥。
  • 一个在引入 Tokios 之前即可正常工作的本地后端。请参阅后端。

测试基本请求

首先进行一个小型非流式请求。将密钥和模型替换为您自己的值。
这将确认身份验证、部署路由、连接器连接性和后端响应处理。

测试流式传输

然后测试流式传输行为。这更接近许多编码智能体和聊天工具在实际使用中的表现。
如果流式传输停滞,请直接检查本地后端,然后检查连接器日志和客户端基础 URL。

比较两个部署

使用相同的请求体,仅更改 model。
将结果记录在一个小表格中:

使用您的实际客户端进行测试

在 curl 正常工作后,通过您计划使用的客户端进行测试。

解读结果

不要针对单一数字进行优化。流式传输很快但无法完成编码任务的部署,可能不如一个较慢但能可靠遵循指令的模型。
保持您的最佳部署名称稳定。如果您以后将其迁移到更快的后端或不同的机器,客户端可以继续使用相同的 model 值。