跳转到主要内容
Unsloth Studio 是一个开源的无代码 Web UI,用于运行、训练和导出本地模型。当你在 Studio 中运行模型时,它会在你的机器上提供一个兼容 OpenAI 的 API——默认地址为 http://127.0.0.1:8888。这仅限于本地访问。将 Studio 保留在你的机器上,并在其旁边运行 Tokios 连接器:连接器会向外拨号连接至 https://api.tokios.com,而你的工具、团队成员或智能体可以从任何地方调用一个经过身份验证的端点。
适合初学者。 Unsloth Studio 是一个点击式 UI——选择一个模型,运行它,即可提供服务。与 Ollama 和 LM Studio 一样,它是将本地模型置于 Tokios 端点背后的最简单方法之一。

仅出站方式

1

在 Unsloth Studio 中运行模型

启动 Studio 并通过其 UI 加载模型。Studio 启动命令如下:
模型运行后,Studio 会在端口 8888 上暴露兼容 OpenAI 的 API。将其保留在你的机器上——你不需要将其开放到网络中。
2

配对 Tokios 连接器

登录 tokios.com/console,打开 Setup 选项卡,然后点击 Start pairing。Tokios 会显示一个一次性配对码,例如 TKS-XXXX-XXXX,有效期约为 15 分钟。在运行 Studio 的机器上,运行适用于你操作系统的安装单行命令:
已经安装了 tokios-connector?直接传入代码即可:
回到控制台,approve 该设备;你可以在 Setup 或 Connectors 选项卡中完成此操作。连接器令牌在批准后通过隧道交付——你永远不会在屏幕上看到它,也不需要将其粘贴到文件中。
3

将连接器指向 Studio 的 /v1 API

对于基本的单模型路径,将 Studio 的兼容 OpenAI 端点作为上游输入:http://127.0.0.1:8888/v1。如果你通过 tokios-connector.json 配置文件提供多个模型,请显式设置上游 BaseUrl:
有关完整的多模型文件格式,请参阅 连接器配置。
4

注册部署

在 Models 选项卡中,注册模型并选择一个公共部署名称——例如,studio-tunnel。客户端在 model 字段中发送的是该公共部署名称,而不是 Studio 内部的模型 ID。
5

创建 API 密钥

在 Keys 选项卡中,点击 Create key。可选择使用模型名称模式(逗号分隔的通配符,* 表示全部)将其范围限定为特定部署。现在复制 sk-tok-… 密钥——它仅显示一次。

从任何地方使用

一旦你拥有部署名称和 API 密钥,任何兼容 OpenAI 或 Anthropic 的客户端都可以访问你在 Studio 中运行的模型——无论是从另一台机器、团队成员的笔记本电脑,还是托管的智能体。
这里的 model 字段始终是你注册的部署名称(如上例中的 studio-tunnel),而不是 Studio 内部的模型 ID。在 Studio 中微调了模型并将其导出为 GGUF?请参阅 提供微调模型服务 了解相同的端点流程。

常见问题

是的。设置 "stream": true,Tokios 会根据你调用的 API 接口返回标准服务器发送事件 (SSE),格式为 OpenAI 或 Anthropic。
是的。以相同方式在 Studio 中运行它,或者将其导出为 GGUF 并通过 Ollama 或 llama.cpp 提供服务——无论哪种方式,都将其注册为 Tokios 部署。请参阅 提供微调模型服务。
是的。为每位团队成员创建单独的 sk-tok-… 密钥(在 Keys 选项卡中),并将每个密钥的范围限定为他们所需的部署。撤销密钥会立即停止其身份验证,因此你可以在不触碰 Studio 或连接器的情况下切断访问权限。

你的模型永远不会离开你的机器——你的端点随处可用

Unsloth Studio 继续在你的机器上运行,没有入站端口,也没有向网络暴露任何内容。连接器仅向外拨号。之后的所有内容——身份验证、路由、流式传输——都是一个端点,你可以从任何你选择给予密钥的机器、团队成员或智能体调用它。

快速入门

配对连接器并端到端注册你的第一个模型。

提供微调模型服务

将你训练的模型转换为私有 API 端点。