跳转到主要内容
AnythingLLM 与 Dify 均支持添加自定义的兼容 OpenAI 的模型服务提供商。只需将该提供商指向 https://api.tokios.com/v1,并提供您的 sk-tok-… API 密钥以及已注册的 部署 名称,任意应用即可调用本地模型,无需 host.docker.internal、端口转发或 VPN。

前置条件

安装并配对连接器

在模型所在位置运行 tokios-connector,随后在控制台中予以授权。

注册部署信息

为模型指定一个公开名称,例如 gemma-tunnel;此名称即客户端发送的 model 值。

创建 API 密钥

Create an sk-tok-… key on the Keys tab, optionally scoped to this deployment.

确认后端是否受支持

Ollama、llama.cpp、vLLM以及LM Studio均可在该连接器后正常运作。
Tokios实现了GET /v1/models功能并对OpenAI API接口进行了规范化处理,因此当AnythingLLM或D易验证该服务提供商时(如列举可用模型、检测端点状态),验证结果与直接对接OpenAI时完全一致。

将Tokios添加为服务提供商

1

配置开放式大语言模型服务提供商设置

在AnythingLLM中,请依次进入 Settings → LLM Provider 并从服务提供商列表中选择 Generic OpenAI。具体菜单路径与服务提供商名称可能因版本而异,请参照您所使用的版本说明。
2

设定基础URL地址

在 Base URL 界面中输入相应内容:
3

配置API 令牌

在 API Key 处粘贴您的Tokios专用API 令牌即可:
4

指定模型名称

在 模型名称 栏位(部分AnythingLLM版本中亦称作 Chat Model Name)内填写您的Tokios部署实例名称,例如 gemma-tunnel;该名称并非后端服务实际调用的上游模型 ID。
5

设置令牌与上下文窗口长度

将 Token context window 字段的值设为与您所用模型相匹配的上下文长度即可;具体字段名称会因版本而异,部分版本甚至要求必须填写此数值才能保存配置。
6

保存并测试

保存配置后,在工作区发送一条消息以验证 AnythingLLM 能否通过 Tokios 成功调用您的模型。

不再需要 host.docker.internal

AnythingLLM 与 Dify 通常均通过 Docker 运行,而您的模型往往运行在独立于应用的机器或容器中。这种架构分离正是多数自托管部署容易受阻的原因:容器内的 localhost 无法访问宿主机,host.docker.internal 在不同平台上的解析方式也各不相同;位于独立机器上的模型还需额外配置端口转发或 VPN 接入。 将 AnythingLLM 或 Dify 指向 https://api.tokios.com/v1 即可彻底解决上述问题。该端点具备公共性与稳定性,不受应用所在容器、主机或网络环境的影响;仅需确保模型旁的连接器具备出站访问权限,且无需开放任何入站端口。

连接完成后

无论 AnythingLLM 或 Dify 运行在何处,均可顺利调用您的模型。同样的部署配置与 API 密钥同样适用于其他兼容 OpenAI 或 Anthropic 协议的应用。

兼容的应用客户端

此处列出了 Tokios 支持的全部客户端及其各自所需的基础地址信息。

API 密钥

为每个应用或团队成员创建具备特定权限范围的密钥,即便如此也能在不影响连接器运行的前提下随时撤销其访问权限。