在本地运行 vLLM，并通过 Tokios 从任意位置访问它。

本页面将引导您完成整个流程：从在 GPU 设备上全新安装 vLLM，到最终获得一个可远程访问且经过身份验证的 API 端点，整个过程仅需约 5 分钟。您的模型始终运行在本地硬件上，所有请求也绝不会经过任何第三方推理服务器。

您已运行 vLLM 了吗？ 若是，请直接跳至步骤 3：安装 Tokios 连接器。若仅需简要说明，可参阅 vLLM 远程访问指南。

前置条件

开始操作前，请确保满足以下要求：

1 NVIDIA GPU 需支持 CUDA 技术（推荐 RTX 3090、4090、A100 或 DGX Spark 型号）。
CUDA 12.1+ 已成功安装（运行 nvidia-smi 以进行验证）。
Python 3.9–3.12 现已支持 pip。
一个 Tokios account 账号（注册完全免费）。

若需配置多 GPU 环境，请参阅下方的张量并行机制说明。

步骤 1：安装并启动 vLLM

使用 pip 安装 vLLM：

pip install vllm

启动与 OpenAI 兼容的服务器。务必将其绑定至 127.0.0.1，切勿设置更宽泛的绑定范围：

vllm serve mistralai/Mistral-7B-Instruct-v0.2 \
  --host 127.0.0.1 \
  --port 8000

首次运行时 vLLM 会下载模型权重并将其载入 GPU 内存，随后在 http://127.0.0.1:8000 端口上启动一个与 OpenAI 兼容的 HTTP 服务器。

确认该服务器正在运行

在另一个终端窗口中执行以下操作：

curl http://127.0.0.1:8000/v1/models

此时您应当能看到列出的上游模型 ID。

常见的启动配置方式

请根据自身硬件条件选择对应的参数：

vllm serve mistralai/Mistral-7B-Instruct-v0.2 \
  --host 127.0.0.1 \
  --port 8000 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192

vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ \
  --host 127.0.0.1 \
  --port 8000 \
  --quantization awq \
  --gpu-memory-utilization 0.90 \
  --max-model-len 4096

vllm serve nvidia/Qwen3.5-35B-A3B-NVFP4 \
  --host 127.0.0.1 \
  --port 8000 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192

vllm serve meta-llama/Llama-3-8B-Instruct \
  --host 127.0.0.1 \
  --port 8000 \
  --kv-cache-dtype fp8 \
  --max-model-len 16384

--max-model-len 参数用于设定 vLLM 为 KV 缓存预留的 GPU 内存容量。建议先设定较小数值（如 4096 或 8192），待确认模型可顺利加载且未出现内存溢出情况后再逐步调大。关于内存分配的具体计算方式可参阅 KV 缓存与上下文说明。

多 GPU 场景：张量并行技术

若模型体积过大无法完整载入单个 1 GPU，可借助同一台机器上的多块 GPU 实现张量并行处理：

# 2 GPUs, tensor parallel
vllm serve meta-llama/Llama-3-70B-Instruct \
  --host 127.0.0.1 \
  --port 8000 \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.90

在单节点多 GPU 环境下，张量并行比流水线并行更值得选用，因为它能在解码阶段实现更高的带宽利用率。

Windows 系统（WSL2）

vLLM 无法在 Windows 上原生运行。建议在启用了 GPU 直通功能的 WSL2 环境中使用 Docker 进行部署。

# docker-compose.yml
services:
  vllm:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    ports:
      - "127.0.0.1:8000:8000"
    volumes:
      - ~/.cache/huggingface:/root/.cache/huggingface
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
    command: >
      --model mistralai/Mistral-7B-Instruct-v0.2
      --host 0.0.0.0
      --port 8000
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

docker compose up

步骤 2：在本地进行测试

在配置远程访问功能前，请先确认 vLLM 能够正常响应请求。

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-7B-Instruct-v0.2",
    "messages": [{"role": "user", "content": "Write hello world in Python"}],
    "max_tokens": 100
  }'

此时您应当能收到格式正确的聊天补全响应内容。

步骤 3：安装 Tokios 连接器

连接器从您的机器向外拨号连接至 https://api.tokios.com。不开放任何入站端口。无需端口转发。无需 DNS 记录。登录 tokios.com/console 后，进入 Setup 选项卡并点击 Start pairing。此时 Tokios 会生成一个一次性使用的令牌代码，例如 TKS-XXXX-XXXX，该代码的有效时长约为 15 分钟。在运行 vLLM 的计算机上执行安装指令即可。

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

如果您的计算机上已经安装了 tokios-connector，可直接输入对应的代码完成配置。

tokios-connector TKS-XXXX-XXXX

回到控制台，点击 Approve（位于 Setup 或 Connectors 选项卡中）。连接器的令牌（ct-tok-…）在批准后会通过隧道下发——您永远不会在屏幕上看到它，也无需将其粘贴到任何文件中。

步骤 4：将连接器指向 vLLM

vLLM 提供的兼容 OpenAI 协议的服务器完全符合 Tokios 的接口要求。若仅需部署单个模型，控制台的设置向导会自动选用 http://127.0.0.1:8000/v1。若需部署多个模型或自定义配置，则需创建 tokios-connector.json。

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8000/v1"
  }
}

关于多模型配置文件的完整格式说明，请参阅连接器配置。

步骤 5：注册部署实例

在 Models 页面中，登记您的 vLLM 模型并指定一个 公开名称，例如 mistral-tunnel。客户端在调用时会在 model 字段中填入该公开名称。该名称与 vLLM 内部的模型标识符相互独立，因此调整上游模型时也不会影响客户端配置。

若需运行 LoRA 适配器，请通过 --enable-lora --lora-modules adapter1=/path/to/adapter 参数启动 vLLM，随后将各适配器分别注册为独立的 Tokios 部署实例。详情参见模型路由机制。

步骤 6：生成 API 密钥

进入 Keys 页面后点击 Create key 按钮即可。

您还可按需限定该密钥的适用范围，例如指定特定模型名称模式（多个模式可用逗号分隔，输入 * 则表示适用于所有模型）。
此时请立即复制 sk-tok-… 令牌内容——该信息仅显示一次。

您可以创建多个令牌，每个团队成员、智能体或环境各配一个，还能单独吊销其中任意令牌。

步骤 7：从任意客户端发起连接

您的 vLLM 模型现已可通过 https://api.tokios.com 访问。调用方法如下：

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Write hello world in Rust"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="mistral-tunnel",
    messages=[{"role": "user", "content": "Write hello world in Rust"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mistral-tunnel

export OPENAI_API_KEY=sk-tok-YOUR_KEY
aider --openai-api-base https://api.tokios.com/v1 \
      --model openai/mistral-tunnel

{
  "baseURL": "https://api.tokios.com/v1",
  "apiKey": "sk-tok-YOUR_KEY",
  "model": "mistral-tunnel"
}

请求中的 model 字段始终是您注册的部署名称（mistral-tunnel），绝不是 vLLM 的本地模型 ID。

安全机制：仅允许出站连接通道

该机制与 SSH 通道、端口转发或 Tailscale 的区别如下：

Your GPU machine                  api.tokios.com               Remote client
──────────────                    ──────────────               ─────────────
vLLM ─┐                                                        sk-tok-… key
  (localhost:8000)                                               │
       ├─ connector ──► outbound TLS tunnel ──► gateway ──────► HTTPS
       │  (no inbound     (initiates             (auth +       request
       │   port open)      connection)            routing)
       └─ nothing listens
          on any port

属性	您的配置情况
是否开放入站端口	0
是否需要公网 IP	无需
可在 CGNAT 环境下正常运行	可以
身份验证方式	`sk-tok-…` 每次请求的持有者令牌
密钥作用范围	按部署环境及用户分别设定
加密机制	采用端到端 TLS 加密
支持 SSE 流传输	原生实现，无需额外缓冲处理

您的 vLLM 进程无需任何改动，它仍运行在 127.0.0.1:8000 端口上且对外部不可访问。唯有连接器能够与其通信，且连接器仅具备向外发起连接的权限。

您仍可保留 vLLM 的 --api-key 标志以强化连接器与 vLLM 之间本地连接的安全性。经由 Tokios 发起的客户端请求均需通过您的 sk-tok-… API 密钥验证，唯有连接器才具备访问 127.0.0.1:8000 端口的权限。

常见问题解答

流式传输功能是否可用？

可以。设置好 "stream": true 后，Tokios 便会依据您调用的 API 类型返回符合 OpenAI 或 Anthropic 格式的标准服务器发送事件。

能否同时部署多个模型？

当然可以。您可在 Models 选项卡中注册更多部署实例，也可借助 tokios-connector.json 配置文件来定义多个上游模型与路由规则。详情请参阅连接器配置。

能否与团队成员共享访问权限？

可以。为每位团队成员创建单独的 sk-tok-… 密钥（在 Keys 选项卡中）。将每个密钥的范围限定为仅他们需要的部署。吊销密钥会立即切断访问。

若 vLLM 意外重启会怎样？

连接器会在 vLLM 重新启动后自动与其重新建立连接。全程无需人工干预，只需重启 vLLM，相关端点即可恢复正常。

该方案在 Windows 系统上能否运行？

完全可行。您可在 WSL2 环境中借助 Docker 运行 vLLM（具体配置方式可参考上文的 WSL2 说明），随后在 Windows 主机端或 WSL2 环境中安装 Tokios 连接器即可。

让您的 vLLM 随时随地均可访问

vLLM 的运行方式仍与以往一致：继续在本地主机及 GPU 上运行，且无需开放任何入站端口。连接器仅负责向外发起连接请求。其余环节如身份验证、路由分配、流式传输及令牌管理均通过单一端点完成，任何持有相应令牌的用户或程序均可调用该端点。

快速入门

一步步完成连接器配对以及首个模型的部署流程。

API 密钥

为团队成员及各类智能体创建、设定权限并定期轮换 sk-tok-… 令牌。

兼容的客户端

39 个客户端已确认可用——编程智能体、聊天应用、各类 SDK。

远程访问方案对比

详细介绍 Tokios 与 Tailscale、Cloudflare Tunnel 以及 SSH 隧道方案之间的差异。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

在本地运行 vLLM，并通过 Tokios 从任意位置访问它。

前置条件

步骤 1：安装并启动 vLLM

确认该服务器正在运行

常见的启动配置方式

多 GPU 场景：张量并行技术

Windows 系统（WSL2）

步骤 2：在本地进行测试

步骤 3：安装 Tokios 连接器

步骤 4：将连接器指向 vLLM

步骤 5：注册部署实例

步骤 6：生成 API 密钥

步骤 7：从任意客户端发起连接

安全机制：仅允许出站连接通道

常见问题解答

让您的 vLLM 随时随地均可访问

快速入门

API 密钥

兼容的客户端

远程访问方案对比

​前置条件

​步骤 1：安装并启动 vLLM

​确认该服务器正在运行

​常见的启动配置方式

​多 GPU 场景：张量并行技术

​Windows 系统（WSL2）

​步骤 2：在本地进行测试

​步骤 3：安装 Tokios 连接器

​步骤 4：将连接器指向 vLLM

​步骤 5：注册部署实例

​步骤 6：生成 API 密钥

​步骤 7：从任意客户端发起连接

​安全机制：仅允许出站连接通道

​常见问题解答

​让您的 vLLM 随时随地均可访问

快速入门

API 密钥

兼容的客户端

远程访问方案对比

前置条件

步骤 1：安装并启动 vLLM

确认该服务器正在运行

常见的启动配置方式

多 GPU 场景：张量并行技术

Windows 系统（WSL2）

步骤 2：在本地进行测试

步骤 3：安装 Tokios 连接器

步骤 4：将连接器指向 vLLM

步骤 5：注册部署实例

步骤 6：生成 API 密钥

步骤 7：从任意客户端发起连接

安全机制：仅允许出站连接通道

常见问题解答

让您的 vLLM 随时随地均可访问