选择本地模型和后端 - Tokios

在注册你的第一个部署之前，或当你想要比较多个本地模型时，请使用本指南。Tokios 不会为你选择模型；它会给每个本地模型一个稳定的部署名称，供客户端调用。

选定模型和后端后，在 Tokios 注册你的第一个部署 — 1 认证端点位于 https://api.tokios.com，耗时约 5 分钟。

从工作流开始

工作流	优化目标	初步检查要点
编码智能体	指令遵循、仓库推理、流式传输稳定性	让智能体检查并修改一个小型项目
聊天应用	低延迟和有用的回答	发送简短提示并比较首个令牌的时间
SDK 实验	API 兼容性和可预测的响应	从 `curl` 和你的 SDK 运行相同的请求
共享本地端点	稳定性和清晰的部署名称	为每个模型注册一个部署并测试 `/v1/models`

选择后端

Tokios 将请求转发到提供 OpenAI 兼容 Chat Completions API 的后端。从你已使用的后端开始。如果是从零开始选择，请使用适合你的操作系统和硬件的最简单选项。

后端	通常在以下场景中非常有用……	Tokios 上游基础配置
Ollama	你想要一个以命令行优先的本地模型快速配置	`http://127.0.0.1:11434/v1`
LM Studio	你更喜欢桌面应用程序和可视化的模型管理	`http://127.0.0.1:1234/v1`
llama.cpp	你直接运行 GGUF 模型	`http://127.0.0.1:8080/v1`
vLLM	你需要一个面向服务器的 GPU 运行时	`http://127.0.0.1:8000/v1`

查看后端以获取当前配置示例。

为客户端命名部署

后端提供的模型 ID 无需与客户端使用的名称一致。为每个 Tokios 部署分配一个简短的公共名称，以描述其角色。

上游模型 ID	部署名称	为何有帮助
`qwen2.5-coder`	`coder-local`	编码代理可保持一个稳定的模型设置
`gemma4:e4b`	`chat-local`	聊天客户端无需知晓后端 ID
`mistral-small`	`fast-draft`	可在名称中表明预期用途
`muse-glimmer:30b-q4_K_M`	`agent-local`	若后续更换量化标签，可使代理客户端保持同一名称

保持部署名称稳定。若稍后将模型移至不同的后端或机器，请更新部署或连接器路由，而非更改每个客户端。

仔细比较模型

每次仅更改一项内容。在比较两个部署时，保持相同的提示词、客户端、后端设置和硬件。记录两者的速度和回答质量。

指标	使用方法
首个令牌时间	衡量请求开始生成输出的速度
每秒令牌数	衡量输出开始生成后的速度
总任务时间	对编码代理和多步工作流最为重要
完成质量	衡量模型是否真正完成了任务
稳定性	检测后端重启、超时和流式传输失败

对于可重复的测试流程，请使用基准测试您的部署。