跳转到主要内容
Msty 是一款精美的桌面应用,用于与本地和远程模型进行聊天,因其并排多模型聊天功能而广受欢迎。将 Tokios 添加为 OpenAI Compatible 远程模型提供商——将其指向 https://api.tokios.com/v1 并使用您的 sk-tok-… 密钥——Msty 即可访问运行在您自己硬件上的模型。

前提条件

连接器已配对

在您希望 Msty 访问的模型旁边安装并配对 tokios-connector。

模型已注册

为该模型注册一个部署(公共名称)。

API 密钥已创建

创建一个 sk-tok-… 密钥,可选择将其范围限定为该部署。

受支持的后端

确认您的本地后端(Ollama、llama.cpp、vLLM、LM Studio)正在运行。

添加 Tokios 作为远程模型提供商

1

打开远程模型提供商

在 Msty 中,打开模型提供商区域并选择添加 Remote Model Provider。确切标签和位置因 Msty 和 Msty Studio 版本而异——请检查您的版本。
2

选择 OpenAI Compatible

选择 OpenAI Compatible 作为提供商类型。
3

设置端点和密钥

填写提供商字段:
其中,API Endpoint 应以 /v1 结尾。
4

获取或添加您的部署

点击 Fetch Models。由于 Tokios 实现了 GET /v1/models,您注册的部署(例如 gemma-tunnel)会自动填充。如果提供商没有自动返回模型,请手动添加部署名称。然后点击 Add 保存提供商。
将 gemma-tunnel 替换为您注册的部署名称,将 sk-tok-YOUR_KEY 替换为您自己的密钥。Msty 发送的模型名称是您的公共部署名称——而不是 Ollama、llama.cpp、vLLM 或 LM Studio 的本地模型 ID。

桌面应用,模型在其他地方

Msty 运行在您的桌面上;您想要的模型可以完全位于另一台机器上。该模型旁边的连接器向 Tokios 发起出站连接,而 Msty 调用 https://api.tokios.com/v1,并使用您的 sk-tok-… 密钥——无需入站端口,无需 VPN。之后,Msty 的多模型聊天可以同时使用您的 Tokios 部署和您添加的其他提供商。

故障排除

Msty 发送的 API 密钥缺失、格式错误或已被撤销。确认您粘贴了完整的 sk-tok-… 密钥且没有多余的空格,并在 Keys 选项卡上检查其状态。
端点或密钥范围有误。确认 API Endpoint 为 https://api.tokios.com/v1,您已在 Models 选项卡上注册了部署,并且您的密钥范围包含该部署。
该部署的连接器离线或已达到并发上限。检查 Connectors 选项卡——连接器需要显示为 Online,并且运行它的机器需要仍然处于开机且可访问状态。

后续步骤

兼容客户端

查看其他兼容 OpenAI 和 Anthropic 的客户端的基础 URL 和密钥设置。

API 密钥

为团队成员和代理创建、限定范围并轮换 sk-tok-… 密钥。