通过 Tokios 将编程智能体与本地模型配合使用

绝大多数主流编程智能体均通过兼容 OpenAI 或 Anthropic 标准的 API 与模型后端通信。只需将该 API 指向 Tokios，智能体即可与运行在您本地硬件上的模型对话，且不受限于仅能在运行推理服务器的机器上操作。只需修改 1 字段即可切换模型，智能体配置无需变动。

编程智能体如何连接至后端

编程智能体通过 HTTP 协议发送聊天补全请求及工具调用指令。它们会从环境变量或配置文件中读取端点 URL 与 API 密钥。Tokios 在同一 URL 下同时提供兼容 OpenAI 与 Anthropic 标准的接口，因此多数智能体仅需修改一次配置即可顺利连接。

智能体	API 格式	关键环境变量	基础 URL
Claude Code	Anthropic	`ANTHROPIC_API_KEY`	`ANTHROPIC_BASE_URL`
OpenCode	OpenAI	`options.apiKey`	`options.baseURL`
Aider	OpenAI	`OPENAI_API_KEY`	`OPENAI_API_BASE`
Cline	OpenAI	在控制台中输入 API 密钥	自定义端点设置
Continue	OpenAI	在配置文件中填写 API 密钥	`apiBase`
Roo Code	OpenAI	在控制台中填写 API 密钥	自定义端点设置

前置条件说明

请确保已运行与本地模型配对的 Tokios 连接器，详情参见连接器安装指南
需事先注册好部署名称，详情参见模型注册流程
还需准备 Tokios API 密钥，详情参见 API 密钥管理

Claude Code

Claude Code 基于 Anthropic Messages API 运行。请设置 2 环境变量，并通过 --model 参数传入您的部署名称：

macOS 与 Linux 系统
Windows 命令提示符
Windows PowerShell

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-coder

set ANTHROPIC_BASE_URL=https://api.tokios.com
set ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-coder

$env:ANTHROPIC_BASE_URL = "https://api.tokios.com"
$env:ANTHROPIC_API_KEY = "sk-tok-YOUR_KEY"
claude --model qwen3-coder

Claude Code 内置的模型选择器仅显示 claude-* 类型的 ID。因此务必在部署 Tokios 时显式指定 --model 参数。关于持久化配置与故障排查的详细信息，请参阅完整的 Claude Code 指南。

OpenCode

OpenCode 借助与 OpenAI 兼容的提供商来调用 AI SDK。请将 Tokios 添加至 opencode.json 配置项中：

opencode.json

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "tokios": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Tokios",
      "options": {
        "baseURL": "https://api.tokios.com/v1",
        "apiKey": "sk-tok-YOUR_KEY"
      },
      "models": {
        "qwen3-coder": {
          "name": "qwen3-coder"
        }
      }
    }
  }
}

options.baseURL 配置项必须包含 /v1 参数。OpenCode 会基于该 URL 解析请求路径，若遗漏 /v1 参数则会导致 404 类错误出现。

关于详细的设置流程与故障排查方法，请参阅完整的 OpenCode 指南。

Aider

Aider 会从环境变量中读取与 OpenAI 兼容的相关配置信息：

export OPENAI_API_BASE=https://api.tokios.com/v1
export OPENAI_API_KEY=sk-tok-YOUR_KEY
aider --model openai/qwen3-coder

配置项 openai/ 的作用是告知 Aider 采用 OpenAI 的聊天补全格式。只要模型支持 OpenAI 的函数调用规范，Aider 便可顺利调用其工具功能。

Cline

Cline 可通过 VS Code 设置界面连接至各类与 OpenAI 兼容的自定义端点：

在 VS Code 中打开 Cline 设置页面。
进入 API Configuration 页面后，请选择 OpenAI Compatible 选项。
将 Base URL 的值设为 https://api.tokios.com/v1。
把你的 sk-tok-YOUR_KEY 内容粘贴到 API Key 字段中。
输入你想要的部署名称（例如 qwen3-coder）作为 Model ID。

Cline 广泛运用工具调用功能。请选择对工具调用支持良好的模型——可参考下方的模型推荐。

Continue

在 ~/.continue/config.json 中将 Tokios 添加为自定义提供商：

~/.continue/config.json

{
  "models": [
    {
      "title": "Tokios - Qwen3 Coder",
      "provider": "openai",
      "model": "qwen3-coder",
      "apiBase": "https://api.tokios.com/v1",
      "apiKey": "sk-tok-YOUR_KEY"
    }
  ]
}

通过此提供商配置，Continue 可同时支持聊天补全与工具调用。

Roo Code

Roo Code 采用与 OpenAI 兼容的相同端点格式：

打开 Roo Code 的设置页面。
选择 OpenAI Compatible 作为 API 提供商。
将 Base URL 的值设为 https://api.tokios.com/v1。
请输入您的 API 密钥以及部署名称。

无需重新配置即可切换模型。

由于每个智能体均从 API 请求中的 model 参数处读取模型名称，因此您可以在 Tokios 上注册多个部署实例，并随时切换而无需改动任何智能体配置。

# Use Qwen3-Coder for code tasks
claude --model qwen3-coder

# Use GLM-4.5-Air for general reasoning
claude --model glm-4-chat

# Use Gemma for lightweight tasks
claude --model gemma-tunnel

端点地址与 API 密钥保持不变，Tokios 会将每个请求准确转发至对应的本地后端。

适合编程任务的模型推荐。

并非所有本地模型都能同样出色地完成编程任务。工具调用能力——即调用函数、读取文件及执行命令的能力——对于基于智能体的工作流程而言至关重要。

模型	参数总量	适用场景	工具调用能力	备注信息
Muse Glimmer 30B	29.6B	基于智能体的编码与工具调用	表现良好	该模型经过训练可依据特定架构调用工具并具备故障恢复能力；4位版本仅占用 24 GB显存即可运行
Qwen3-Coder-30B	30B	代码生成与重构	表现良好	经测试可顺利与 Cline 及 Aider 配合使用
Qwen3-32B	32B	通用型及编码专用模型	表现良好	综合能力出众；在 DGX Spark 平台上可实现 43 令牌/秒的生成速度
GLM-4.5-Air	106B 混合专家模型	复杂的推理任务	表现良好	12B 活跃参数数量；在 Spark 环境中深受社区青睐
Qwen3.5-35B-A3B	35B 混合专家模型	快速编码能力	表现良好	3B 处于活跃状态；在 Spark 环境下搭配 Atlas 能达到 120 令牌/秒的处理速度
Gemma-4-26B-A4B	26B 混合专家模型	轻量级任务处理	中等水平	4B 处于活跃状态；运行速度快，但在处理复杂编辑任务时能力稍弱

在 AMD 显卡上运行 vLLM 时，工具调用功能存在已知问题。若您使用的是 Strix Halo 或其他 AMD 硬件，建议选用带有 Vulkan 后端的 llama.cpp，以获得更稳定的工具调用支持。

使用本地模型进行编程的实用建议

务必选用支持工具调用的模型。 Claude Code、OpenCode 以及 Cline 这类智能体均依赖结构化的函数调用机制。若模型不支持 OpenAI 的函数调用规范，智能体便会退而采用基于文本的工具调用方式，这种方式效率较低且可靠性较差。 合理设置上下文长度。 编程智能体发送的提示内容通常包含大量文件信息及对话记录。请将推理服务器上的 --max-model-len 参数值设为至少 8192 个令牌。具备 32K 个以上上下文容量的模型更能胜任多文件处理任务。 为提升处理效率应优先选用 MoE 模型。 诸如 Qwen3.5-35B-A3B 这类混合专家型模型在生成每个令牌时仅激活部分参数，因此其处理效率高于同等规模的传统密集型模型。对于对响应延迟要求较高的迭代式编程任务而言，MoE 模型往往是更优之选。 在正式使用工具调用功能前务必进行测试。 可发送一个包含工具调用指令的测试请求，以验证模型与后端系统能否正确执行函数调用操作：

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-coder",
    "messages": [{"role": "user", "content": "What is 2+2?"}],
    "tools": [{"type": "function", "function": {"name": "calculator", "parameters": {"type": "object", "properties": {"expression": {"type": "string"}}}}}]
  }'

若返回结果中包含 tool_calls 格式的数组，则说明工具调用功能运行正常。

为所有智能体提供统一的服务端点

Tokios 可为各类编程智能体提供相同的 URL 地址与 API 密钥。只需完成一次模型注册并生成 1 类型的 API 密钥，即可让任意数量的智能体均指向 https://api.tokios.com 端点。后续即便更换模型、新增后端服务或迁移至其他硬件平台，也无需修改任何智能体配置。

模型路由机制

了解如何注册多个模型并根据部署名称来路由请求。

选择本地模型

在将模型正式用于智能体工作流之前，请先对比各类后端与量化方案。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

通过 Tokios 将编程智能体与本地模型配合使用

编程智能体如何连接至后端

前置条件说明

Claude Code

OpenCode

Aider

Cline

Continue

Roo Code

无需重新配置即可切换模型。

适合编程任务的模型推荐。

使用本地模型进行编程的实用建议

为所有智能体提供统一的服务端点

模型路由机制

选择本地模型

​编程智能体如何连接至后端

​前置条件说明

​Claude Code

​OpenCode

​Aider

​Cline

​Continue

​Roo Code

​无需重新配置即可切换模型。

​适合编程任务的模型推荐。

​使用本地模型进行编程的实用建议

​为所有智能体提供统一的服务端点

模型路由机制

选择本地模型

编程智能体如何连接至后端

前置条件说明

Claude Code

OpenCode

Aider

Cline

Continue

Roo Code

无需重新配置即可切换模型。

适合编程任务的模型推荐。

使用本地模型进行编程的实用建议

为所有智能体提供统一的服务端点