跳转到主要内容
Hermes Agent 是 Nous Research 推出的开源自主智能体运行时。与典型的聊天客户端不同,Hermes 既暴露自己的 OpenAI 兼容端点供前端连接,又消费一个 OpenAI 兼容后端来执行自身的推理。本文档涵盖第二部分:将 Hermes 的后端 LLM 提供商指向 Tokios,使其智能体循环在您的私有本地模型上运行。
Hermes Agent 是一个运行时,而非典型的 BYOK 聊天 UI。请将此集成视为连接两个系统(Hermes → Tokios),而非配置聊天应用。

前提条件

  • 一个正在运行的 Tokios 连接器,已与您的本地模型配对 — 参见 连接器安装
  • 一个已注册的模型部署名称 — 参见 注册模型
  • 一个 Tokios API 密钥(sk-tok-…) — 参见 API 密钥
  • 已安装 Hermes Agent

配置 Hermes Agent 的后端提供商

Hermes 从 ~/.hermes/config.yaml 读取其后端提供商设置。提供商键位于 顶层 model: 映射下 — 它们本身不是顶层键:
~/.hermes/config.yaml
嵌套结构很重要。如果 provider、base_url 和 api_key 位于顶层,Hermes 会忽略它们并静默回退到其默认提供程序 — 你得到的工作代理永远不会触及你的本地模型。
Replace gemma-tunnel with the public deployment name you registered on the Models tab — not the local model id your backend (Ollama, llama.cpp, vLLM, or LM Studio) uses. Replace sk-tok-YOUR_KEY with your own key, and avoid committing it into a shared or version-controlled config file.
base_url 必须包含 /v1。Hermes 的自定义提供程序路径会将请求发送到任何实现 /v1/chat/completions 的服务器,因此缺少 /v1 的基础 URL 无法连接到 Tokios API 表面。
你也可以在不手动编辑 YAML 的情况下交互式地设置此项:
从提供程序列表中选择 Custom endpoint,然后提供相同的基础 URL、API 密钥和部署名称。hermes model 交互式流程的确切措辞和提示可能因 Hermes Agent 版本而异,因此请检查你自己的版本。

故障排除

Hermes 发送的 API 密钥缺失、格式错误或已被撤销。确认 api_key 在 config.yaml 中保存了完整的 sk-tok-… 密钥且没有多余空格,并在 Keys 选项卡上检查其状态。
The model value doesn’t match a registered deployment. Confirm it exactly matches the public name on the Models tab — not your Ollama, llama.cpp, vLLM, or LM Studio local model id.
该部署的连接器处于离线状态或已达到并发上限。检查 Connectors 选项卡 — 连接器需要显示为 Online,并且运行它的机器仍需在线且可访问。

后续步骤

快速入门

设置连接器并注册你的首个模型部署。

兼容客户端

查看适用于其他 OpenAI 和 Anthropic 兼容客户端的基础 URL 和密钥设置。