http://127.0.0.1:8888。这仅限于本地访问。将 Studio 保留在你的机器上,并在其旁边运行 Tokios 连接器:连接器会向外拨号连接至 https://api.tokios.com,而你的工具、团队成员或智能体可以从任何地方调用一个经过身份验证的端点。
仅出站方式
1
在 Unsloth Studio 中运行模型
启动 Studio 并通过其 UI 加载模型。Studio 启动命令如下:模型运行后,Studio 会在端口
8888 上暴露兼容 OpenAI 的 API。将其保留在你的机器上——你不需要将其开放到网络中。2
配对 Tokios 连接器
登录 tokios.com/console,打开 Setup 选项卡,然后点击 Start pairing。Tokios 会显示一个一次性配对码,例如 已经安装了 回到控制台,approve 该设备;你可以在 Setup 或 Connectors 选项卡中完成此操作。连接器令牌在批准后通过隧道交付——你永远不会在屏幕上看到它,也不需要将其粘贴到文件中。
TKS-XXXX-XXXX,有效期约为 15 分钟。在运行 Studio 的机器上,运行适用于你操作系统的安装单行命令:tokios-connector?直接传入代码即可:3
将连接器指向 Studio 的 /v1 API
对于基本的单模型路径,将 Studio 的兼容 OpenAI 端点作为上游输入:有关完整的多模型文件格式,请参阅 连接器配置。
http://127.0.0.1:8888/v1。如果你通过 tokios-connector.json 配置文件提供多个模型,请显式设置上游 BaseUrl:4
注册部署
在 Models 选项卡中,注册模型并选择一个公共部署名称——例如,
studio-tunnel。客户端在 model 字段中发送的是该公共部署名称,而不是 Studio 内部的模型 ID。5
创建 API 密钥
在 Keys 选项卡中,点击 Create key。可选择使用模型名称模式(逗号分隔的通配符,
* 表示全部)将其范围限定为特定部署。现在复制 sk-tok-… 密钥——它仅显示一次。从任何地方使用
一旦你拥有部署名称和 API 密钥,任何兼容 OpenAI 或 Anthropic 的客户端都可以访问你在 Studio 中运行的模型——无论是从另一台机器、团队成员的笔记本电脑,还是托管的智能体。常见问题
流式传输是否有效?
流式传输是否有效?
是的。设置
"stream": true,Tokios 会根据你调用的 API 接口返回标准服务器发送事件 (SSE),格式为 OpenAI 或 Anthropic。我可以使用在 Studio 中训练的模型吗?
我可以使用在 Studio 中训练的模型吗?
是的。以相同方式在 Studio 中运行它,或者将其导出为
GGUF 并通过 Ollama 或 llama.cpp 提供服务——无论哪种方式,都将其注册为 Tokios 部署。请参阅 提供微调模型服务。我可以在不直接暴露 Studio 的情况下与团队成员共享访问权限吗?
我可以在不直接暴露 Studio 的情况下与团队成员共享访问权限吗?
是的。为每位团队成员创建单独的
sk-tok-… 密钥(在 Keys 选项卡中),并将每个密钥的范围限定为他们所需的部署。撤销密钥会立即停止其身份验证,因此你可以在不触碰 Studio 或连接器的情况下切断访问权限。你的模型永远不会离开你的机器——你的端点随处可用
Unsloth Studio 继续在你的机器上运行,没有入站端口,也没有向网络暴露任何内容。连接器仅向外拨号。之后的所有内容——身份验证、路由、流式传输——都是一个端点,你可以从任何你选择给予密钥的机器、团队成员或智能体调用它。快速入门
配对连接器并端到端注册你的第一个模型。
提供微调模型服务
将你训练的模型转换为私有 API 端点。