https://api.tokios.com/v1,并提供您的 sk-tok-… API 密钥以及已注册的 部署 名称,任意应用即可调用本地模型,无需 host.docker.internal、端口转发或 VPN。
前置条件
安装并配对连接器
在模型所在位置运行
tokios-connector,随后在控制台中予以授权。注册部署信息
为模型指定一个公开名称,例如
gemma-tunnel;此名称即客户端发送的 model 值。创建 API 密钥
Create an
sk-tok-… key on the Keys tab, optionally scoped to this deployment.确认后端是否受支持
Ollama、llama.cpp、vLLM以及LM Studio均可在该连接器后正常运作。
Tokios实现了
GET /v1/models功能并对OpenAI API接口进行了规范化处理,因此当AnythingLLM或D易验证该服务提供商时(如列举可用模型、检测端点状态),验证结果与直接对接OpenAI时完全一致。将Tokios添加为服务提供商
- AnythingLLM
- Dify
1
配置开放式大语言模型服务提供商设置
在AnythingLLM中,请依次进入 Settings → LLM Provider 并从服务提供商列表中选择 Generic OpenAI。具体菜单路径与服务提供商名称可能因版本而异,请参照您所使用的版本说明。
2
设定基础URL地址
在 Base URL 界面中输入相应内容:
3
配置API 令牌
在 API Key 处粘贴您的Tokios专用API 令牌即可:
4
指定模型名称
在 模型名称 栏位(部分AnythingLLM版本中亦称作 Chat Model Name)内填写您的Tokios部署实例名称,例如
gemma-tunnel;该名称并非后端服务实际调用的上游模型 ID。5
设置令牌与上下文窗口长度
将 Token context window 字段的值设为与您所用模型相匹配的上下文长度即可;具体字段名称会因版本而异,部分版本甚至要求必须填写此数值才能保存配置。
6
保存并测试
保存配置后,在工作区发送一条消息以验证 AnythingLLM 能否通过 Tokios 成功调用您的模型。
不再需要 host.docker.internal
AnythingLLM 与 Dify 通常均通过 Docker 运行,而您的模型往往运行在独立于应用的机器或容器中。这种架构分离正是多数自托管部署容易受阻的原因:容器内的 localhost 无法访问宿主机,host.docker.internal 在不同平台上的解析方式也各不相同;位于独立机器上的模型还需额外配置端口转发或 VPN 接入。
将 AnythingLLM 或 Dify 指向 https://api.tokios.com/v1 即可彻底解决上述问题。该端点具备公共性与稳定性,不受应用所在容器、主机或网络环境的影响;仅需确保模型旁的连接器具备出站访问权限,且无需开放任何入站端口。
连接完成后
无论 AnythingLLM 或 Dify 运行在何处,均可顺利调用您的模型。同样的部署配置与 API 密钥同样适用于其他兼容 OpenAI 或 Anthropic 协议的应用。兼容的应用客户端
此处列出了 Tokios 支持的全部客户端及其各自所需的基础地址信息。
API 密钥
为每个应用或团队成员创建具备特定权限范围的密钥,即便如此也能在不影响连接器运行的前提下随时撤销其访问权限。