跳转到主要内容
big-AGI 是一个功能丰富、支持多提供商的 AI 前端,支持添加最多五个自定义 OpenAI 兼容端点。将其中一个指向 https://api.tokios.com/v1 并使用您的 sk-tok-… 密钥,big-AGI 即可与您自己硬件上运行的模型以及其他已配置的提供商进行通信。

前提条件

连接器已配对

在您希望 big-AGI 访问的模型旁边安装并配对 tokios-connector。

模型已注册

为该模型注册一个部署(公共名称)。

API 密钥已创建

创建一个 sk-tok-… 密钥,可选择将其范围限定为该部署。

支持的后端

确认您的本地后端(Ollama、llama.cpp、vLLM、LM Studio)正在运行。

添加 Tokios 作为自定义端点

1

打开模型配置

打开 big-AGI 的 Models 设置并选择添加源。选择 OpenAI-compatible 供应商(自定义 OpenAI 风格端点的选项)。具体的菜单路径和标签因 big-AGI 版本而异——请根据您运行的版本进行确认。
2

设置 API 主机和密钥

输入 Tokios 端点和您的密钥:
主机中需包含 /v1。
3

加载您的部署

big-AGI 会自动从端点检测模型。由于 Tokios 实现了 GET /v1/models,您注册的部署(例如 gemma-tunnel)将显示为可选项目。如果未列出某个模型,请在 Keys 选项卡上确认您的密钥范围是否包含该部署。
对于自托管的 big-AGI,您可以通过环境变量设置相同的值——OPENAI_API_HOST=https://api.tokios.com/v1 和 OPENAI_API_KEY=sk-tok-YOUR_KEY。切勿将真实密钥提交到版本控制或共享配置中。

一个前端,来自各地的模型

big-AGI 旨在同时与多个提供商通信。将 Tokios 添加为其自定义 OpenAI 兼容端点之一,可将您自己的本地模型与其他所有内容并列——该模型旁边的连接器向 Tokios 发起出站连接,而 big-AGI 则通过 https://api.tokios.com/v1 访问它,无需入站端口或 VPN。

故障排除

big-AGI 发送的 API 密钥缺失、格式错误或已被撤销。确认您使用了完整的 sk-tok-… 密钥且没有多余的空格,并在 Keys 选项卡上检查其状态。
big-AGI 从 GET /v1/models 填充模型。确保您已在 Models 选项卡上注册了至少一个部署,并且您的密钥范围包含该部署。确认主机为 https://api.tokios.com/v1。
该部署的连接器离线或已达到并发上限。检查 Connectors 选项卡——连接器需显示为 Online,且运行它的机器仍需处于运行状态并可访问。

后续步骤

兼容客户端

查看其他 OpenAI 和 Anthropic 兼容客户端的基础 URL 和密钥设置。

API 密钥

为团队成员和代理创建、限定范围并轮换 sk-tok-… 密钥。