https://api.tokios.com/v1 和您的 sk-tok-… 密钥,SillyTavern 即可驱动运行在您自己硬件上的模型。
前提条件
连接器已配对
在您希望 SillyTavern 访问的模型旁边安装并配对
tokios-connector。模型已注册
为该模型注册一个部署(公共名称)。
API 密钥已创建
创建一个
sk-tok-… 密钥,可选择将其范围限定为该部署。支持的后端
确认您的本地后端(Ollama、llama.cpp、vLLM、LM Studio)正在运行。
将 SillyTavern 连接到 Tokios
1
打开 API 连接
点击 plug 图标以打开 API Connections 面板。
2
选择 Chat Completion → Custom (OpenAI-compatible)
将 API 设置为 Chat Completion,然后将 Chat Completion Source 设置为 Custom (OpenAI-compatible)。
3
设置端点和密钥
填写自定义端点字段:
使用
https://api.tokios.com/v1。SillyTavern 会自动添加 /chat/completions,因此不要追加它。如果连接失败且您遗漏了 /v1,请首先尝试添加它。4
输入您的部署作为模型并连接
输入您注册的公共部署名称(可在 Models 选项卡中查看,例如
gemma-tunnel)作为模型 ID,然后点击 Connect。这是 SillyTavern 在 model 字段中发送的值,而不是您后端的本地模型 ID。将
gemma-tunnel 替换为您注册的部署名称,将 sk-tok-YOUR_KEY 替换为您自己的密钥。切勿将两者提交到共享配置文件中。高级用户前端,模型运行在您自己的硬件上
SillyTavern 为您提供对提示词和采样的深度控制;Tokios 为您运行的任何模型提供稳定、经过身份验证的端点。您模型旁边的连接器向 Tokios 发起出站连接,而 SillyTavern(在同一台机器或另一台机器上)调用https://api.tokios.com/v1,并使用您的 sk-tok-… 密钥。您的提示词和角色保持私有;只有连接器的出站隧道会接触 Tokios。
故障排除
401 错误
401 错误
SillyTavern 发送的 API 密钥缺失、格式错误或已被撤销。确认您粘贴了完整的
sk-tok-… 密钥且没有多余的空格,并在 Keys 选项卡上检查其状态。404 错误
404 错误
模型值与已注册的部署不匹配,或者基础 URL 错误。确认模型名称与 Models 选项卡上的公共名称匹配,基础 URL 为
https://api.tokios.com/v1,并且您没有追加 /chat/completions。503 错误
503 错误
该部署的连接器离线或已达到并发上限。检查 Connectors 选项卡——连接器需要显示为 Online,并且运行它的机器需要仍然处于运行状态且可访问。
后续步骤
兼容的客户端
查看其他 OpenAI 和 Anthropic 兼容客户端的基础 URL 和密钥设置。
API 密钥
为团队成员和代理创建、限定范围和轮换
sk-tok-… 密钥。