https://api.tokios.com/v1 并使用您的 sk-tok-… 密钥,big-AGI 即可与您自己硬件上运行的模型以及其他已配置的提供商进行通信。
前提条件
连接器已配对
在您希望 big-AGI 访问的模型旁边安装并配对
tokios-connector。模型已注册
为该模型注册一个部署(公共名称)。
API 密钥已创建
创建一个
sk-tok-… 密钥,可选择将其范围限定为该部署。支持的后端
确认您的本地后端(Ollama、llama.cpp、vLLM、LM Studio)正在运行。
添加 Tokios 作为自定义端点
1
打开模型配置
打开 big-AGI 的 Models 设置并选择添加源。选择 OpenAI-compatible 供应商(自定义 OpenAI 风格端点的选项)。具体的菜单路径和标签因 big-AGI 版本而异——请根据您运行的版本进行确认。
2
设置 API 主机和密钥
输入 Tokios 端点和您的密钥:主机中需包含
/v1。3
加载您的部署
big-AGI 会自动从端点检测模型。由于 Tokios 实现了
GET /v1/models,您注册的部署(例如 gemma-tunnel)将显示为可选项目。如果未列出某个模型,请在 Keys 选项卡上确认您的密钥范围是否包含该部署。对于自托管的 big-AGI,您可以通过环境变量设置相同的值——
OPENAI_API_HOST=https://api.tokios.com/v1 和 OPENAI_API_KEY=sk-tok-YOUR_KEY。切勿将真实密钥提交到版本控制或共享配置中。一个前端,来自各地的模型
big-AGI 旨在同时与多个提供商通信。将 Tokios 添加为其自定义 OpenAI 兼容端点之一,可将您自己的本地模型与其他所有内容并列——该模型旁边的连接器向 Tokios 发起出站连接,而 big-AGI 则通过https://api.tokios.com/v1 访问它,无需入站端口或 VPN。
故障排除
401 错误
401 错误
big-AGI 发送的 API 密钥缺失、格式错误或已被撤销。确认您使用了完整的
sk-tok-… 密钥且没有多余的空格,并在 Keys 选项卡上检查其状态。模型列表为空
模型列表为空
big-AGI 从
GET /v1/models 填充模型。确保您已在 Models 选项卡上注册了至少一个部署,并且您的密钥范围包含该部署。确认主机为 https://api.tokios.com/v1。503 错误
503 错误
该部署的连接器离线或已达到并发上限。检查 Connectors 选项卡——连接器需显示为 Online,且运行它的机器仍需处于运行状态并可访问。
后续步骤
兼容客户端
查看其他 OpenAI 和 Anthropic 兼容客户端的基础 URL 和密钥设置。
API 密钥
为团队成员和代理创建、限定范围并轮换
sk-tok-… 密钥。