选择本地模型和后端 - Tokios

在注册第一个部署之前，或当你想比较多个本地模型时，请使用本指南。Tokios 不会为你选择模型；它会给每个本地模型一个稳定的部署名称，供客户端调用。

选定模型和后端后，在 Tokios 注册你的第一个部署 — https://api.tokios.com 处的 1 个认证端点，约 5 分钟。

从工作流开始

工作流	优化目标	初步检查建议
编码智能体	指令遵循、仓库推理、流式传输稳定性	让智能体检查并修改一个小型项目
聊天应用	低延迟和有用的回答	发送简短提示并比较首令牌时间
SDK 实验	API 兼容性和可预测的响应	分别从 `curl` 和你的 SDK 运行相同请求
共享本地端点	稳定性和清晰的部署名称	为每个模型注册一个部署并测试 `/v1/models`

选择后端

Tokios 将请求转发到提供 OpenAI 兼容 Chat Completions API 的后端。从你已在使用的后端开始。如果是从零开始选择，请使用适合你的操作系统和硬件的最简单选项。

后端	通常在以下场景中适用……	Tokios 上游基础 URL
Ollama	你想快速搭建命令行优先的本地模型	`http://127.0.0.1:11434/v1`
LM Studio	你更喜欢桌面应用和可视化模型管理	`http://127.0.0.1:1234/v1`
llama.cpp	你直接运行 GGUF 模型	`http://127.0.0.1:8080/v1`
vLLM	你需要面向服务器的 GPU 运行时	`http://127.0.0.1:8000/v1`

请参阅后端以获取当前配置示例。

为客户端命名部署

你的后端提供的模型 ID 无需与客户端使用的名称一致。为每个 Tokios 部署分配一个简短的公共名称来描述其用途。

上游模型 ID	部署名称	为何有帮助
`qwen2.5-coder`	`coder-local`	编码智能体可保持一个稳定的模型设置
`gemma4:e4b`	`chat-local`	聊天客户端无需知晓后端 ID
`mistral-small`	`fast-draft`	可在名称中表明预期用途
`muse-glimmer:30b-q4_K_M`	`agent-local`	若后续更换量化标签，可使智能体客户端保持同一名称

保持部署名称稳定。如果之后将模型迁移到其他后端或机器，请更新部署或连接器路由，而不是更改每个客户端的配置。

仔细比较模型

每次只更改一个变量。比较两个部署时，保持相同的提示、客户端、后端设置和硬件。同时记录速度和回答质量。

指标	使用方法
首令牌时间	衡量请求开始产生输出的速度
每秒令牌数	衡量输出开始后的生成速度
总任务时间	对编码智能体和多步工作流最为重要
完成质量	衡量模型是否真正完成了任务
稳定性	检测后端重启、超时和流式传输故障

如需可重复的测试流程，请参阅基准测试你的部署。