跳转到主要内容
LibreChat 通过自定义端点访问 OpenAI 兼容 API，这些端点在 librechat.yaml 中定义。在 endpoints.custom 下添加一个条目，将 baseURL 设置为 https://api.tokios.com/v1，将 apiKey 设置为您的 sk-tok-… 密钥，并在 models 中列出您的 Tokios 部署名称——这样 LibreChat 就可以与您的本地模型进行对话，而无需暴露该模型的端口。

​
前提条件

在编辑 librechat.yaml 之前，请准备好以下内容：

连接器已配对

在模型旁边安装并配对 tokios-connector。

模型已注册

为希望 LibreChat 看到的模型注册一个部署（公共名称）。

API 密钥已创建

创建一个 sk-tok-… 密钥，可选择将其范围限定为该部署。

支持的后端

确认您的本地后端（Ollama、llama.cpp、vLLM、LM Studio）正在运行。

​
将 Tokios 添加为自定义端点

1

打开 librechat.yaml

打开（或创建）位于 LibreChat 部署根目录的 librechat.yaml 配置文件。确切的默认文件路径可能因版本而异——请检查您的版本。
2

添加自定义端点条目

在 endpoints.custom 下，为 Tokios 添加一个块，将 baseURL 指向 Tokios，并将 models.default 设置为您的公共部署名称——例如，gemma-tunnel：
models.default 应列出您在 Models 选项卡中注册的部署名称，而不是您的 Ollama、llama.cpp、vLLM 或 LM Studio 本地模型 ID。确切的 YAML 键名和嵌套结构可能在 LibreChat 版本之间发生变化，因此请根据您的安装情况确认这些键。
3

将 API 密钥作为环境变量提供

将 TOKIOS_API_KEY（或您在上面引用的任何变量名）设置为您的 sk-tok-… 密钥，并写入 LibreChat 的 .env 文件，而不是直接将密钥粘贴到 librechat.yaml 中：
.env
4

重启 LibreChat

重启 LibreChat 服务器，使其重新加载 librechat.yaml。Tokios 端点现在应出现在 LibreChat 的端点选择器中。
切勿将真实的 sk-tok-… 密钥提交到 librechat.yaml 或版本控制系统中。请改为从环境变量中引用它。

​
您的模型来自模型列表

LibreChat 的自定义端点不会像某些客户端那样自动发现部署——models 字段（位于您的 librechat.yaml 配置块中）是选择器显示内容的权威来源。在 models.default 下列出您希望可用的所有 Tokios 部署。 如果您的 LibreChat 版本支持为自定义端点动态获取模型，它会调用 GET /v1/models，目标为您的 baseURL。Tokios 实现了 /v1/models 并返回您的密钥有权访问的部署，因此基于动态获取的配置也可以工作——请查看当前版本的文档，了解确切的开关（例如 models.fetch）及其行为。

​
托管 UI，家中模型

这解决了常见的场景：您在 VPS 或容器主机上运行 LibreChat，并希望它访问位于您家庭机器或工作站上的模型，而无需将该机器的端口暴露给互联网。 因为 Tokios 连接器只从运行模型的机器建立出站连接，所以您不需要：
  • 将后端绑定到 0.0.0.0（例如 OLLAMA_HOST=0.0.0.0），以便远程 LibreChat 实例可以访问它。
  • 打开入站端口或在家庭路由器或防火墙上打洞。
  • 在两台机器之间设置 VPN 或反向代理。
无论 LibreChat 托管在哪里，它都与 https://api.tokios.com/v1 通信，并使用您的 sk-tok-… 密钥进行身份验证。Tokios 通过隧道将请求路由到模型旁运行的连接器，而模型始终只在 localhost 上提供服务。

​
故障排除

确认 librechat.yaml 位于 LibreChat 期望的路径中（确切的配置发现路径因版本而异），并且您在编辑后重启了服务器。
LibreChat 发送的 API 密钥缺失、格式错误或已被撤销。确认 apiKey 引用的环境变量包含完整的 sk-tok-… 密钥，没有额外的空白字符，并在 Keys 选项卡上检查其状态。
密钥存在，但范围未限定到您在 models 中列出的部署，或者您的账户已被暂停。在 Keys 选项卡上检查密钥的模型模式。
LibreChat 发送的模型值与已注册的部署不匹配。确认它完全匹配 Models 选项卡上的公共名称——而不是您的 Ollama/llama.cpp/vLLM/LM Studio 本地模型 ID。
该部署的连接器离线或已达到并发上限。检查 Connectors 选项卡——连接器需要显示为 Online，并且运行它的机器需要仍然处于运行状态且可访问。

​
现在在其他地方投入使用

一旦 LibreChat 通过 Tokios 与您的模型通信，相同的部署和密钥就可以从任何其他兼容 OpenAI 或 Anthropic 的客户端工作——无需为每个客户端进行额外设置。

兼容客户端

查看其他客户端的基础 URL 和密钥设置。

API 密钥

为使用同一 LibreChat 实例的团队成员创建单独的限定范围密钥。