Skip to main content
SillyTavern 是面向本地模型的高级用户/角色扮演前端,提供对提示词、采样和角色的精细控制。其 Chat Completion 后端可以指向任何自定义的 OpenAI 兼容端点——将源设置为 Custom (OpenAI-compatible),输入 https://api.tokios.com/v1 和您的 sk-tok-… 密钥,SillyTavern 即可驱动运行在您自己硬件上的模型。

前提条件

连接器已配对

在您希望 SillyTavern 访问的模型旁边安装并配对 tokios-connector。

模型已注册

为该模型注册一个部署(公共名称)。

API 密钥已创建

创建一个 sk-tok-… 密钥,可选择将其范围限定为该部署。

支持的后端

确认您的本地后端(Ollama、llama.cpp、vLLM、LM Studio)正在运行。

将 SillyTavern 连接到 Tokios

1

打开 API 连接

点击 plug 图标以打开 API Connections 面板。
2

选择 Chat Completion → Custom (OpenAI-compatible)

将 API 设置为 Chat Completion,然后将 Chat Completion Source 设置为 Custom (OpenAI-compatible)。
3

设置端点和密钥

填写自定义端点字段:
使用 https://api.tokios.com/v1。SillyTavern 会自动添加 /chat/completions,因此不要追加它。如果连接失败且您遗漏了 /v1,请首先尝试添加它。
4

输入您的部署作为模型并连接

输入您注册的公共部署名称(可在 Models 选项卡中查看,例如 gemma-tunnel)作为模型 ID,然后点击 Connect。这是 SillyTavern 在 model 字段中发送的值,而不是您后端的本地模型 ID。
将 gemma-tunnel 替换为您注册的部署名称,将 sk-tok-YOUR_KEY 替换为您自己的密钥。切勿将两者提交到共享配置文件中。

高级用户前端,模型运行在您自己的硬件上

SillyTavern 为您提供对提示词和采样的深度控制;Tokios 为您运行的任何模型提供稳定、经过身份验证的端点。您模型旁边的连接器向 Tokios 发起出站连接,而 SillyTavern(在同一台机器或另一台机器上)调用 https://api.tokios.com/v1,并使用您的 sk-tok-… 密钥。您的提示词和角色保持私有;只有连接器的出站隧道会接触 Tokios。

故障排除

SillyTavern 发送的 API 密钥缺失、格式错误或已被撤销。确认您粘贴了完整的 sk-tok-… 密钥且没有多余的空格,并在 Keys 选项卡上检查其状态。
模型值与已注册的部署不匹配,或者基础 URL 错误。确认模型名称与 Models 选项卡上的公共名称匹配,基础 URL 为 https://api.tokios.com/v1,并且您没有追加 /chat/completions。
该部署的连接器离线或已达到并发上限。检查 Connectors 选项卡——连接器需要显示为 Online,并且运行它的机器需要仍然处于运行状态且可访问。

后续步骤

兼容的客户端

查看其他 OpenAI 和 Anthropic 兼容客户端的基础 URL 和密钥设置。

API 密钥

为团队成员和代理创建、限定范围和轮换 sk-tok-… 密钥。