model 值来切换模型。
选择 API 形式
将您的 Tokios API 密钥用作客户端 API 密钥。将已注册的部署名称用作客户端模型名称。
推荐设置流程
1
先使用一个已知可用的后端
首先运行一个本地后端，例如 Ollama、llama.cpp、vLLM 或 LM Studio。在添加编程智能体之前，请确认该后端提供兼容 OpenAI 的
/v1/chat/completions 端点。2
注册一个部署
为部署指定一个简短且稳定的名称，例如
qwen-coder-local 或 gemma-tunnel。这就是编程智能体在 model 字段中发送的值。3
配置智能体
根据智能体使用的 API 形式设置基础 URL。OpenAI 风格的客户端通常使用
https://api.tokios.com/v1；Anthropic 风格的客户端使用 https://api.tokios.com。4
先运行一个小任务
在发起较大规模的重构任务之前，先让智能体解释一个小文件或进行一项微小更改。这样可以确认路由、流式传输和模型行为是否正常。
比较哪些指标
使用本地模型测试编程智能体时，应比较完整工作流程，而不只是原始模型速度。更快的模型不一定是更好的编程模型。对于智能体工作流程，指令遵循能力和对代码仓库的理解与生成速度同样重要。
后续步骤
使用 Claude Code
配置
ANTHROPIC_BASE_URL 和 ANTHROPIC_API_KEY。使用 OpenAI Codex
在
config.toml 中将 Tokios 添加为 Codex 模型提供商。对您的部署进行基准测试
比较不同部署的延迟、流式传输和任务行为。
路由多个模型
保持使用一个端点，并通过
model 字段切换模型。