通过 Tokios 使用本地模型的编码代理

15 编码代理通过 Tokios 连接至本地模型。所有代理均使用标准的 OpenAI 或 Anthropic API 格式 — 您只需更改 2 项内容：base URL 和 API key。一旦您的模型注册为 Tokios 部署，以下每个代理都通过相同的端点访问它。

前置条件： 在配置以下任何代理之前，您需要一个正在运行的本地模型、一个配对的 Tokios 连接器、一个已注册的部署，以及一个 sk-tok-… API 密钥。如果尚未设置这些内容，请参阅快速入门。

代理兼容性矩阵

代理	类型	API 格式	工具调用	设置指南
Claude Code	终端	Anthropic	是	/guides/claude-code
OpenAI Codex	终端	OpenAI（Responses）	是	/guides/openai-codex
Aider	终端	OpenAI	是	/guides/aider
Cline	集成开发环境	OpenAI	是	/guides/cline
Continue	集成开发环境	OpenAI	是	/guides/continue
Roo Code	IDE	OpenAI	是	/guides/roo-code
OpenCode	终端	OpenAI	是	/guides/opencode
Goose	IDE	OpenAI	是	/guides/goose
Pi	终端	OpenAI · Anthropic	是	/guides/pi
Cursor	IDE	OpenAI	是	/guides/cursor
Zed	IDE	OpenAI · Anthropic	未知	/guides/zed
JetBrains AI Assistant	IDE	OpenAI	未知	/guides/jetbrains-ai-assistant
VS Code Copilot	集成开发环境	OpenAI	未知	/guides/vscode-copilot
omp (oh-my-pi)	终端	OpenAI · Anthropic	未知	/guides/omp
Hermes Agent	终端	OpenAI	是	/guides/hermes-agent

“工具调用”是指代理可以在请求中发送 tools 并从响应中解析 tool_calls。端到端是否有效取决于代理和本地模型两者 — Qwen3-Coder-30B、Llama-3-70B 和 Mistral 在 vLLM 上都能很好地处理工具调用。

基于 IDE 的代理

这些代理驻留在您的编辑器中，并在您编码时发送补全请求。除非另有说明，它们都使用 OpenAI Chat Completions API 格式。

Cline 和 Roo Code

Cline 及其分支 Roo Code 均使用“OpenAI 兼容”提供商。在扩展设置中设置 3 字段：

API 提供商： OpenAI Compatible
基础 URL： https://api.tokios.com/v1
API 密钥： 您的 sk-tok-… 密钥
模型 ID： 您的部署名称（例如，qwen3-coder-tunnel）

两者都完全通过设置面板进行配置 — 无需编辑配置文件。请参阅 Cline 和 Roo Code 指南以获取完整设置说明。

继续

Continue 读取 ~/.continue/config.yaml。添加模型条目：

models:
  - name: Tokios
    provider: openai
    model: qwen3-coder-tunnel
    apiBase: https://api.tokios.com/v1
    apiKey: sk-tok-YOUR_KEY

请参阅 Continue 指南。请注意，Continue 同时支持 Chat Completions 和 Responses — 对于本地模型，请使用 Chat Completions。

Cursor

Cursor 的自定义模型覆盖接受基础 URL 和 API 密钥。支持情况因 Cursor 版本而异 — 在依赖此功能前，请验证自定义基础 URL 路由在你的构建中是否有效：

打开 Cursor Settings → Models。
添加一个基础 URL 为 https://api.tokios.com/v1 且使用你的 sk-tok-… 密钥的自定义模型。

请参阅 Cursor 指南以获取特定版本的说明。

Zed

Zed 在其 settings.json 中支持自定义 OpenAI 兼容提供商：

{
  "language_models": {
    "openai_compatible": {
      "Tokios": {
        "api_url": "https://api.tokios.com/v1",
        "available_models": [
          { "name": "qwen3-coder-tunnel", "max_tokens": 128000 }
        ]
      }
    }
  }
}

API 密钥不应填入 settings.json — 请在 Zed 的 LLM 提供商界面中输入，或导出 TOKIOS_API_KEY（Zed 从提供商 ID 派生变量名）。请参阅 Zed 指南。

JetBrains AI Assistant

JetBrains AI Assistant 通过其插件设置支持 BYOK（自带密钥）。在自定义提供程序字段中输入基础 URL 和 API 密钥：

基础 URL： https://api.tokios.com/v1
API 密钥： 您的 sk-tok-… 密钥

请参阅 JetBrains AI Assistant 指南。

VS Code Copilot

GitHub Copilot 的 BYOK 支持正在逐步推出。当您的 VS Code 版本支持自定义提供程序时，请将其指向：

基础 URL： https://api.tokios.com/v1
API 密钥： 您的 sk-tok-… 密钥

请参阅 VS Code Copilot 指南以获取最新的兼容性信息。

终端智能体

这些智能体在您的 Shell 中运行，并使用环境变量或配置文件进行连接。

Claude Code

Claude Code 使用 Anthropic API 格式，而非 OpenAI。请设置 2 环境变量：

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model qwen3-coder-tunnel

注意：Anthropic 格式的基础 URL 没有 /v1 后缀。请参阅 Claude Code 指南，以在跨会话时持久化这些设置。

OpenAI Codex

OpenAI Codex 使用 Responses API（wire_api=responses）。请在 ~/.codex/config.toml 中设置基础 URL：

[model_providers.tokios]
name = "Tokios"
base_url = "https://api.tokios.com/v1"
env_key = "OPENAI_API_KEY"
wire_api = "responses"

[profiles.tokios]
model = "qwen3-coder-tunnel"
model_provider = "tokios"
disable_response_storage = true

env_key 命名的是保存您密钥的变量，而非密钥本身，且由于 Tokios 无状态地提供 Responses 服务，因此 disable_response_storage 是必需的。然后运行：

OPENAI_API_KEY=sk-tok-YOUR_KEY codex --profile tokios

请参阅 OpenAI Codex 指南。

Aider

Aider 从环境变量中读取基础 URL 和密钥，并且需要 openai/ 模型前缀：

export OPENAI_API_BASE=https://api.tokios.com/v1
export OPENAI_API_KEY=sk-tok-YOUR_KEY
aider --model openai/qwen3-coder-tunnel

请参阅 Aider 指南。

OpenCode

OpenCode 底层使用 AI SDK（Vercel）。请在 opencode.json 中添加自定义提供程序：

{
  "providers": {
    "tokios": {
      "type": "openai",
      "baseURL": "https://api.tokios.com/v1",
      "apiKey": "sk-tok-YOUR_KEY"
    }
  },
  "models": {
    "qwen3-coder": {
      "provider": "tokios",
      "model": "qwen3-coder-tunnel"
    }
  }
}

请参阅 OpenCode 指南。

Goose

Goose 内置的 openai 提供商接受自定义主机。Goose 将这些配置持久化到 ~/.config/goose/config.yaml：

export GOOSE_PROVIDER=openai
export GOOSE_MODEL=qwen3-coder-tunnel
export OPENAI_HOST=https://api.tokios.com
export OPENAI_API_KEY=sk-tok-YOUR_KEY

对于命名提供商，请将 JSON 文件放入 ~/.config/goose/custom_providers/。请参阅 Goose 指南。

Pi 和 omp

Pi 使用带有 api: openai-completions 的自定义提供商。omp（oh-my-pi）继承相同的模式 — providers 是按提供商名称键映射的，且键为 camelCase 格式。omp 读取 ~/.omp/agent/models.yml；Pi 读取 ~/.pi/agent/models.json：

providers:
  tokios:
    baseUrl: https://api.tokios.com/v1
    api: openai-completions
    apiKey: sk-tok-YOUR_KEY
    models:
      - id: qwen3-coder-tunnel
        input: [text]

请参阅 Pi 和 omp 指南。

Hermes Agent

Hermes Agent 连接到任何 OpenAI 兼容的 /v1/chat/completions 端点。它读取 ~/.hermes/config.yaml，其中提供商键嵌套在 model: 下：

model:
  default: qwen3-coder-tunnel
  provider: custom
  base_url: https://api.tokios.com/v1
  api_key: sk-tok-YOUR_KEY

请参阅 Hermes Agent 指南。

通用设置模式

上述每个代理都遵循相同的 3 步模式：

设置基础 URL 为 https://api.tokios.com/v1（OpenAI）或 https://api.tokios.com（Anthropic）。
设置 API 密钥 为你的 sk-tok-… 密钥。
设置模型 为你已注册的部署名称。

如果你的代理未在此列出，但支持自定义 OpenAI 兼容的基础 URL，它几乎肯定可以工作。尝试使用通用环境变量：

export OPENAI_BASE_URL=https://api.tokios.com/v1
export OPENAI_API_KEY=sk-tok-YOUR_KEY

按引擎划分的工具调用兼容性

工具调用需要代理支持和后端支持。以下是支持该功能的本地引擎：

引擎	工具调用	备注
vLLM	是	完整的 OpenAI 工具调用格式；兼容性最佳
Ollama	是（v0.3 及以上版本）	通过 `/v1/chat/completions` 并使用 `tools` 字段
llama.cpp	部分支持	`--chat-template` 配合工具调用格式；具体取决于模型
LM Studio	是	OpenAI 兼容的工具调用格式
SGLang	是	兼容 OpenAI；与 vLLM 行为一致

工具调用取决于模型，而不仅仅是引擎。模型必须经过微调或提示，以便在响应中输出结构化的 tool_calls。Qwen3-Coder-30B、Llama-3-70B-Instruct 和 Mistral-7B-Instruct 都能可靠地处理工具调用。Muse Glimmer 30B 专为这一目的而训练：针对精确模式进行工具调用，并在多步工作流中实现故障恢复。

用于编码代理的最佳本地模型

模型	参数量	最佳用途	引擎推荐
Muse Glimmer 30B	29.6B 密集	代理式编码、工具调用、单 24 GB GPU	Ollama、llama.cpp
DeepSeek-V4-Flash-0731	284B 目标 / 13B 活跃的 MoE	前沿编码代理、工具使用、长仓库	vLLM 或 SGLang（多设备）
Qwen3-Coder-30B	30B 密集	通用编码、工具调用	llama.cpp（Vulkan）、vLLM
Qwen3-32B	32B 密集	重度推理的代码任务	vLLM、Ollama
DeepSeek-R1	671B MoE	复杂推理、架构	vLLM（需要 2+ 块 GPU）
Mistral-7B-Instruct	7B 密集	快速补全、低资源	Ollama、llama.cpp
Llama-3-70B-Instruct	70B 密集	工具调用、多文件编辑	vLLM（多 GPU）

对于 DGX Spark（128GB 统一内存），Qwen3-Coder-30B 在 Q4_K_M 配置下是最佳选择 — 它易于部署、生成速度快，且能很好地处理工具调用。对于 Strix Halo，请使用 llama.cpp 配合 Vulkan 以获得最佳的令牌生成速度。

DeepSeek-V4-Flash-0731 是当前编码代理的首选 DeepSeek 模型。其官方模型卡报告称，在 Terminal Bench 2.1、DeepSWE 和 Toolathlon-Verified 上相比预览版有显著提升。它仍需要多设备主机。请查阅本地硬件指南，然后使用你计划使用的精确运行时、reasoning_effort、上下文长度和采样设置来验证工具调用。

Muse Glimmer 30B 是此处可在单个 24 GB GPU 上完全驻留运行的选项，Meta 为其训练了代理式工具使用能力，但其基准测试由厂商报告，尚无独立复现。请使用 Meta 自己的采样设置（temperature 1.0、top_p 0.95、top_k 64）；复用为其他本地模型调优的值是导致输出质量下降的常见原因。

一个端点服务所有代理

切换代理时无需重新配置模型。在 Tokios 中注册一次你的部署，创建一个 sk-tok-… 密钥，并将任何代理指向同一端点。通过更改 2 环境变量，可从 Aider 切换至 Claude Code，你的模型、连接器和部署保持不变。

快速入门

设置连接器并注册你的首个部署。

兼容客户端

完整的 39 个兼容客户端矩阵，不限于编码代理。

选择本地模型

为你的硬件和用例选择合适的模型。

API 密钥

为团队成员和代理创建、限定范围并轮换密钥。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

通过 Tokios 使用本地模型的编码代理

代理兼容性矩阵

基于 IDE 的代理

Cline 和 Roo Code

继续

Cursor

Zed

JetBrains AI Assistant

VS Code Copilot

终端智能体

Claude Code

OpenAI Codex

Aider

OpenCode

Goose

Pi 和 omp

Hermes Agent

通用设置模式

按引擎划分的工具调用兼容性

用于编码代理的最佳本地模型

一个端点服务所有代理

快速入门

兼容客户端

选择本地模型

API 密钥

​代理兼容性矩阵

​基于 IDE 的代理

​Cline 和 Roo Code

​继续

​Cursor

​Zed

​JetBrains AI Assistant

​VS Code Copilot

​终端智能体

​Claude Code

​OpenAI Codex

​Aider

​OpenCode

​Goose

​Pi 和 omp

​Hermes Agent

​通用设置模式

​按引擎划分的工具调用兼容性

​用于编码代理的最佳本地模型

​一个端点服务所有代理

快速入门

兼容客户端

选择本地模型

API 密钥

代理兼容性矩阵

基于 IDE 的代理

Cline 和 Roo Code

继续

Cursor

Zed

JetBrains AI Assistant

VS Code Copilot

终端智能体

Claude Code

OpenAI Codex

Aider

OpenCode

Goose

Pi 和 omp

Hermes Agent

通用设置模式

按引擎划分的工具调用兼容性

用于编码代理的最佳本地模型

一个端点服务所有代理