随时随地安全使用 SGLang 服务器

SGLang 会启动一个 OpenAI 兼容的服务器，而 Tokios 可以转发到任何支持 OpenAI Chat Completions API 的服务器——因此 SGLang 可作为通用的 OpenAI 兼容上游使用。让 SGLang 保持监听本地主机，并在其旁边运行 Tokios 连接器：连接器会主动连接至 https://api.tokios.com，您的工具、团队成员或智能体即可从任意位置调用一个经过身份验证的端点。

高级运行环境。 SGLang 是基于 Python 开发的 GPU 服务器，专为高吞吐量服务场景设计，其配置流程较普通桌面工具更为复杂。若您只求操作简便，建议选用 Ollama 或 LM Studio。

SGLang 提供了兼容 OpenAI 标准的聊天补全 API，因此它能像其他 OpenAI 兼容服务器一样与 Tokios 协同工作：该连接器会将请求转发至您指定的任意 /v1 BaseUrl 服务器，无论该服务器本身是否直接实现该接口。Ollama、llama.cpp、vLLM 与 LM Studio 是 Tokios 文档中重点介绍的后端服务（参见受支持的后端），但 SGLang 的运行机制完全相同。若出现兼容性问题，通常源于 SGLang 自身对 OpenAI 标准的实现而非 Tokios。

仅支持出站连接的实现方式

按常规方式在本地启动 SGLang

务必将 SGLang 绑定至 127.0.0.1 地址运行——切勿将其绑定至更广泛的网络范围。随后启动其兼容 OpenAI 标准的服务器：

python -m sglang.launch_server --model-path <path-or-repo-id> --port 30000

各版本中 --port 的默认取值以及 SGLang 默认绑定 127.0.0.1 还是 0.0.0.0 均可能存在差异——若未自动绑定至本地回环地址，请手动执行绑定操作。

配置 Tokios 连接器

登录 tokios.com/console 页面后进入 Setup 选项卡并点击 Start pairing 按钮。此时 Tokios 会生成一段仅可使用一次的令牌代码，形如 TKS-XXXX-XXXX，该代码的有效期约为 15 分钟。在运行 SGLang 的机器上，执行适用于您操作系统的单行安装命令即可。

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

已经安装过 tokios-connector 了吗？此时可直接传入对应代码来完成配置。

tokios-connector TKS-XXXX-XXXX

回到控制台 approve 该设备：在 Setup 或 Connectors 选项卡中操作。连接器的令牌在批准后会通过隧道下发——您永远不会在屏幕上看到它，也无需将其粘贴到任何文件中。

将连接器的指向目标设为 SGLang 提供的 /v1 API。

SGLang 服务器所使用的协议与 Tokios 所需的 OpenAI 聊天补全接口格式完全一致。在仅部署单一模型的情况下，控制台的设置向导允许您手动输入上游模型 ID，此时请输入 http://127.0.0.1:30000/v1。若需通过 tokios-connector.json 配置文件来部署多个模型，则需明确指定上游模型 ID BaseUrl，同时务必包含 /v1：

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:30000/v1"
  }
}

关于多模型配置文件的完整格式说明，请参阅连接器配置页面。

执行部署注册操作。

在 Models 标签页中注册 SGLang 模型并设定一个 公开名称，例如 sglang-tunnel。客户端在调用时实际发送的是该公开名称，而非 SGLang 自身的本地模型 ID，该名称也会填入 model 字段中。

生成 API 密钥。

进入 Keys 标签页后点击 Create key 即可。您还可按需限定该密钥的适用范围，比如指定特定的模型名称模式（多个模式以逗号分隔，使用 * 则表示适用于所有模型）。此时请务必立即复制 sk-tok-… 密钥，因为该密钥仅会显示一次。

SGLang 提供了 --api-key 启动参数，该参数要求向服务器发起请求时必须携带访问令牌。您可将该参数作为额外防护措施用于连接器与 SGLang 之间的本地通信，不过它并非用于验证通过 Tokios 访问您服务的客户端身份的工具，真正的验证令牌是 sk-tok-…。请结合您所使用的 SGLang 版本，确认该参数的具体语法以及其适用范围是覆盖所有端点还是仅限 /v1 路径。

您可随时随地调用该服务。

一旦你获得了部署名称与 API 密钥，任何兼容 OpenAI 或 Anthropic 协议的客户端均可访问你的 SGLang 模型，无论它们位于其他机器、同事的笔记本电脑还是托管式代理端。

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "sglang-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="sglang-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model sglang-tunnel

该 model 字段必须填写你已注册的部署名称（即上文中的 sglang-tunnel），切勿填入 SGLang 的本地模型 ID。若需在多次会话中持续保留环境变量，请查阅使用 Claude Code 的相关说明。

常见问题

Tokios 是否对 SGLang 提供官方支持？

Ollama、llama.cpp、vLLM 以及 LM Studio 是 Tokios 文档中介绍最为详尽的后端服务，详情可参见支持的后端。不过该连接器并不会甄别上游模型 ID 对应的具体服务器，而是将请求转发至你设定的 BaseUrl 地址。由于 SGLang 的启动服务器所使用的 OpenAI 聊天补全接口与上述后端完全一致，因此运作方式并无差异。若 SGLang 的 OpenAI 兼容性在某些特殊场景下与其他后端存在区别，那也属于 SGLang 自身的特性，与 Tokios 无关。

流式传输功能是否可用？

可以。设置好 "stream": true 参数后，Tokios 会根据你所调用的 API 类型返回符合 OpenAI 或 Anthropic 规范的标准服务器推送事件（SSE）。

能否通过 SGLang 同时提供多个模型服务？

你可以在 Models 选项卡中注册更多部署实例；也可借助 tokios-connector.json 配置文件为单个连接器设定多个上游模型 ID 与路由规则，此方式尤其适用于同时运行多个 SGLang 进程的场景。详情请参见连接器配置。

能否在不直接暴露 SGLang 服务的前提下与同事共享访问权限？

可以。为每位团队成员创建单独的 sk-tok-… 密钥（在 Keys 选项卡中），并将每个密钥的范围限定为仅他们需要的部署。吊销密钥会立即使其无法通过身份验证，因此您可以在不改动 SGLang 或连接器的情况下切断访问。

你的模型数据始终留存于本地设备，而生成的端点则可随时随地调用。

SGLang 会继续在本地主机上运行，不会开放任何入站端口，也不会暴露除 /v1 之外的任何端点。该连接器仅负责向外发起连接。在此之后的所有功能——包括身份验证、路由以及流式传输——均可通过单一端点实现，您可以向任意机器、团队成员或代理授予令牌以调用此端点。

支持的后端服务

请查阅已命名后端服务及其默认上游端口的完整列表。

API 密钥

您可以为团队成员及代理创建、设定权限范围并定期轮换 sk-tok-… 类型的令牌。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

随时随地安全使用 SGLang 服务器

仅支持出站连接的实现方式

您可随时随地调用该服务。

常见问题

你的模型数据始终留存于本地设备，而生成的端点则可随时随地调用。

支持的后端服务

API 密钥

​仅支持出站连接的实现方式

​您可随时随地调用该服务。

​常见问题

​你的模型数据始终留存于本地设备，而生成的端点则可随时随地调用。

支持的后端服务

API 密钥

仅支持出站连接的实现方式

您可随时随地调用该服务。

常见问题

你的模型数据始终留存于本地设备，而生成的端点则可随时随地调用。