跳转到主要内容
Continue 从 YAML 配置文件中读取模型设置,每个模型块定义 provider、model 和 apiBase。将 apiBase 指向 https://api.tokios.com/v1,使用 sk-tok-… 密钥,并将 Tokios 部署 名称作为 model,Continue 即可通过一个经过身份验证的端点访问本地模型——无需在局域网中开放端口。

前置条件

  • 一个已与本地模型配对的 Tokios 连接器——参见连接器安装
  • 一个已注册的模型部署名称——参见注册模型
  • 一个 Tokios API 密钥(sk-tok-…)——参见 API 密钥
  • 在编辑器中安装 Continue

配置 Continue

1

打开 Continue 的配置文件

Continue 从用户主目录读取 YAML 配置:
该目录为 .continue,以点号开头。旧版 Continue 使用 config.json——如果使用的是旧版配置,请迁移到 YAML 或将下面的配置块转换为对应版本所需的 JSON 格式。
2

添加一个 OpenAI 兼容的模型块

使用 OpenAI 兼容的 provider 添加一个模型条目,将 apiBase 指向 Tokios,并将 model 设为公共部署名称——例如 gemma-tunnel:
model 是在 Models 标签页中注册的部署名称,而非 Ollama、llama.cpp、vLLM 或 LM Studio 的上游模型 ID。完整配置项请参阅 Continue 的配置文档。
3

将聊天、编辑和自动补全指向同一模型

Continue 允许为聊天、编辑、自动补全分配不同的模型。为每个需要由本地模型服务的角色引用同一个 Tokios 模型块。将该模型添加到配置的 tabAutocompleteModel 和 chat 部分:
每个部分都是独立的模型列表——顶部的 models 块注册模型,角色部分负责分配。完整角色分配配置项请参阅 Continue 的配置文档。
将 gemma-tunnel 替换为已注册的部署名称,将 sk-tok-YOUR_KEY 替换为自己的密钥。切勿将二者提交到共享或纳入版本控制的配置文件中。

不要将 Ollama 绑定到 0.0.0.0

Continue 文档中跨机器访问 Ollama 的方式是在运行 Ollama 的机器上设置 OLLAMA_HOST=0.0.0.0,并将 apiBase 指向该机器的局域网 IP(例如 http://192.168.1.50:11434)。这会使 Ollama 监听所有网络接口,而 Ollama 没有内置身份验证——网络上能访问该端口的任何设备都可以列出模型并执行推理,无需任何凭证。 保持 Ollama 监听 127.0.0.1,改为在其旁边运行 Tokios 连接器。连接器向外拨号至 https://api.tokios.com;Ollama 不会开放入站端口,每个请求都需要有效的 sk-tok-… 密钥:
  • 无未认证暴露——无需让任何请求直接到达局域网或机器端口。
  • 相同的 apiBase 适用于任何网络——无论 Continue 在同一局域网还是在另一栋建筑,https://api.tokios.com/v1 均可正常工作。
  • 可限定作用域、可撤销的密钥——在 Keys 标签页切断已泄露的密钥,无需改动 Ollama 或连接器。

故障排查

Continue 发送的 API 密钥缺失、格式错误或已被撤销。请确认配置中的 apiKey 包含完整的 sk-tok-… 密钥且无多余空格,并在 Keys 标签页查看其状态。
密钥存在但未授权访问在 model 中引用的部署,或账户已被暂停。请在 Keys 标签页查看该密钥的模型匹配模式。
配置中的 model 值与已注册的部署不匹配。请确认其与 Models 标签页上的公共名称完全一致——而非 Ollama/llama.cpp/vLLM/LM Studio 的上游模型 ID。
该部署的连接器已离线或达到并发上限。请查看 Connectors 标签页——连接器需显示为 Online,且运行它的机器必须仍处于在线并可访问状态。

后续步骤

Ollama 远程访问

了解为何不应将 Ollama 绑定到 0.0.0.0,以及端口转发和隧道的完整分析——还有仅出站的替代方案。

兼容客户端

查看其他 OpenAI 和 Anthropic 兼容客户端的基础 URL 和密钥配置。