跳转到主要内容
默认情况下，vLLM 提供的 OpenAI 兼容服务器监听于 http://127.0.0.1:8000/v1 端口；若不扩大绑定范围或执行端口转发，其他计算机便无法访问。虽然 vLLM 提供了 --api-key 参数，但其官方文档明确指出不应完全依赖此参数。建议将 vLLM 保留在本地主机运行，再搭配 Tokios 连接器使用：该连接器会主动连接至 https://api.tokios.com，而各类工具、团队成员或智能体则可通过一个经过认证的端点从任意位置发起调用。
高级运行环境。 vLLM 属于专为高吞吐量设计的 Python GPU 服务器，其配置与调优流程较普通桌面工具更为复杂。若仅需简便的模型部署方案，可优先选用 Ollama 或 LM Studio；Tokios 同样可无缝对接这些服务。

​
vLLM 的 --api-key 机制并非万全之策

vllm serve --api-key <key> 要求请求时必须携带承载令牌，这算是一个合理的基础防护措施。不过根据 vLLM 自身的安全文档，其中存在一个限制，即该令牌校验机制仅适用于 /v1 路径，同一服务器上的其他端点则不受此保护。vLLM 给出的建议是部署一个反向代理，仅允许访问那些你希望对外公开的端点；也就是说，单靠 --api-key 是无法构建完整安全边界的。
这并非在批评 vLLM —— --api-key 在其适用的场景范围内确实能发挥预期作用。不过它解决的是与“从任意位置对请求进行身份验证并将其路由至本服务器”截然不同的问题。Tokios 正是为此而专门设计的：它完全不会在您的 vLLM 主机上开启任何入站端口，因此根本不存在需要列入白名单的监听端口。

​
仅支持出站连接的实现方式

1

按常规方式在本地启动 vLLM

务必将 vLLM 绑定至 127.0.0.1 端口——切勿扩大绑定范围。随后启动 OpenAI 兼容服务器：
保持默认设置，让服务器继续监听 http://127.0.0.1:8000 端口即可。
2

配对 Tokios 连接器

登录至 tokios.com/console，打开 Setup 页面并点击 Start pairing。此时 Tokios 会生成一个一次性使用的配对码，其格式类似 TKS-XXXX-XXXX，有效期约为 15 分钟。在运行 vLLM 的机器上，执行适用于您操作系统的安装命令即可。
Windows
macOS
Linux
若您已安装 tokios-connector，可直接输入该令牌来完成配置。
回到控制台 approve 该设备：在 Setup 或 Connectors 选项卡中操作。连接器的令牌在批准后会通过隧道下发——您永远不会在屏幕上看到它，也无需将其粘贴到任何文件中。
3

将连接器指向 vLLM 提供的 /v1 接口。

vLLM 的 OpenAI 兼容服务器完全符合 Tokios 的通信规范。对于单模型部署场景，控制台的设置向导会自动将 http://127.0.0.1:8000/v1 设为上游模型 ID。若需通过 tokios-connector.json 配置文件管理多个模型，则需显式设置上游 BaseUrl。
关于多模型配置文件的完整格式说明，请参阅连接器配置。
4

执行部署注册操作。

在 Models 标签页中，注册 vLLM 模型并指定一个公开名称，例如 mistral-tunnel。客户端在 model 字段中传递的正是这个公开名称，而非 vLLM 的本地模型 ID。
5

生成 API 密钥。

进入 Keys 页面后点击 Create key。您还可借助模型名称通配符限定该密钥的适用范围（多个名称间以逗号分隔，* 即代表所有模型）。请务必立即复制 sk-tok-… 密钥，因为该信息仅显示一次。
如何部署 LoRA 适配器？启动 vLLM 时指定 --enable-lora 与 --lora-modules 参数，即可通过单个进程同时服务多个适配器，请求中通过 model 字段按名称指定所需适配器。请为每个适配器单独创建一个 Tokios 部署并赋予独立公开名称，操作方式与其他模型完全一致。关于网关如何将公开部署名称映射至上游 ID，可参阅模型路由说明。

​
随时随地轻松调用

获取部署名称与 API 密钥后，任何兼容 OpenAI 或 Anthropic 协议的客户端均可访问您的 vLLM 模型——无论位于其他机器、同事的笔记本电脑还是托管式代理中均可实现。
请求中的 model 字段必须填写您已注册的 部署 名称（即上文所述的 mistral-tunnel），不可使用 vLLM 内部的本地模型 ID。若需跨会话保留环境变量，请参考使用 Claude Code 指南。

​
常见问题

完全支持。设置 "stream": true 参数后，Tokios 会根据所调用的接口类型，返回符合 OpenAI 或 Anthropic 规范的标准服务器推送事件（SSE）。
是的。您可以在 Models 选项卡中注册更多部署，也可借助 tokios-connector.json 配置文件来定义单个连接器所对应的多个上游与路由规则——在您需要运行多个 vLLM 进程，或通过 --lora-modules 让单个进程为多个 LoRA 适配器提供服务时尤为实用。详情请参阅连接器配置。
该参数可作为连接器与 vLLM 间本地通信的额外安全层，但通过 Tokios 验证调用者身份的并非此参数。客户端对 https://api.tokios.com 的访问请求需以 sk-tok-… 令牌完成认证；唯有经连接器许可的请求方可访问 127.0.0.1:8000 服务。
可以。为每位团队成员创建单独的 sk-tok-… 密钥（在 Keys 选项卡中），并将每个密钥的范围限定为仅他们需要的部署。吊销密钥会立即使其无法通过身份验证，因此您可以在不改动 vLLM 或连接器的情况下切断访问。

​
您的模型数据绝不会离开本地设备，而您所创建的端点则可随时随地调用。

vLLM 仍会在本地主机上照常运行，不会开放任何入站端口，也不会对外暴露除 /v1 之外的其他端点。连接器仅负责向外发起连接请求。在此之后的所有操作——包括身份验证、请求路由及数据流传输——均通过单一端点完成，您可授权任意设备、团队成员或智能代理调用该端点。

快速入门

完成连接器配对并成功注册首个模型。

API 密钥管理

为团队成员及智能代理创建、设定权限范围并定期轮换 sk-tok-… 类型的 API 密钥。