> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# 让团队访问本地模型

> 通过单一认证端点与团队共享本地模型。无需端口转发，无需 Tailscale 配置，无需网络难题——只需兼容 OpenAI 的 API 访问和每人独立的密钥。

你在运行本地模型，团队需要使用它。难点不在模型本身，而在网络配置、身份认证、客户端设置，以及确保每个人都能访问，而不需要你充当全职 IT 支持。

Tokios 为你的团队提供 `https://api.tokios.com` 上的单一认证端点，通过仅出站隧道调用你的本地模型。无需开放入站端口，无需端口转发，无需配置 Tailscale。每个团队成员拥有自己的 API 密钥，并限定到特定模型，你可以撤销单个人的访问而不影响其他人。

## 你将获得

* **兼容 OpenAI 的 API 端点** — 任何支持 OpenAI SDK 的客户端开箱即用
* **每人独立的 API 密钥** — 每个团队成员拥有自己的 `sk-tok-…` 密钥，限定到特定模型
* **无需网络配置** — 连接器仅出站通信，因此可在 CGNAT、Starlink、5G、公寓宽带、企业防火墙后正常工作
* **模型路由** — 通过一个端点提供多个模型（Ollama、vLLM、llama.cpp）
* **按密钥撤销** — 移除单个人的访问权限，不影响其他人

## 5 个步骤完成设置

**1. Install the connector on your model host**

在运行模型的机器上（Ollama、vLLM、llama.cpp、LM Studio），安装 Tokios 连接器：

```bash Linux theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX
```

```bash macOS theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX
```

```bash Windows (PowerShell) theme={"theme":{"light":"github-light","dark":"css-variables"}}
irm https://tokios.com/downloads/install/windows.ps1 | iex
```

一次性配对码 `TKS-XXXX-XXXX` 从 [dashboard](https://tokios.com/console) 的 **Setup** 标签页获取。配对码约 15 分钟后过期。

**2. Claim the connector in the dashboard**

回到控制台，**approve** 该设备（位于 **Setup** 或 **Connectors** 标签页）。批准后，连接器的令牌通过隧道送达——你无需在屏幕上看到它或将其粘贴到文件中。

将连接器指向你的运行时的本地 API：

* Ollama：`http://127.0.0.1:11434/v1`
* vLLM：`http://127.0.0.1:8000/v1`
* llama.cpp：`http://127.0.0.1:8080/v1`
* LM Studio：`http://127.0.0.1:1234/v1`

无需配置入站防火墙规则——连接器仅进行出站通信。

**3. Register your models as deployments**

在 **Models** 标签页上，将每个上游模型 ID（例如 `llama3.1` 或 `qwen2.5:14b`）映射为团队将使用的公共部署名称，例如 `team-llama` 或 `team-qwen`。客户端在每个请求的 `model` 字段中发送此部署名称，而非上游 ID。

你可以在同一端点后注册来自不同运行时的多个模型——详见[模型路由](https://docs.tokios.com/zh/guides/model-routing.md)。

**4. Create API keys for each teammate**

在 **Keys** 标签页上，为每个团队成员或应用点击 **Create key**。将每个密钥限定到特定的部署名称模式（逗号分隔的通配符，`*` 表示所有），确保团队成员只能访问你指定的模型。

密钥为 `sk-tok-…` Bearer 令牌，创建时仅显示一次——离开页面前请复制密钥。你也可以使用 **Share Key by email** 流程将一次性揭示链接直接发送给团队成员。

详见 [API 密钥](https://docs.tokios.com/zh/setup/api-keys.md)，了解限定、共享和撤销的完整说明。

**5. Share the endpoint and keys with your team**

团队成员将客户端配置为使用：

* **基础 URL：** `https://api.tokios.com/v1`
* **API 密钥：** 个人的 `sk-tok-…` 密钥
* **模型：** 你注册的部署名称（例如 `team-llama`）

任何兼容 OpenAI 的客户端均可使用——Python SDK、JavaScript SDK、curl、Continue、Cline、Open WebUI 以及[更多客户端](https://docs.tokios.com/zh/guides/compatible-clients.md)。

## 从任意客户端使用

```bash curl theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "team-llama",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello from the team laptop"}]
  }'
```

```python OpenAI SDK theme={"theme":{"light":"github-light","dark":"css-variables"}}
from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="team-llama",
    messages=[{"role": "user", "content": "Hello from the team laptop"}],
)
print(response.choices[0].message.content)
```

```javascript OpenAI SDK theme={"theme":{"light":"github-light","dark":"css-variables"}}
import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.tokios.com/v1',
  apiKey: 'sk-tok-YOUR_KEY',
});

const response = await client.chat.completions.create({
  model: 'team-llama',
  messages: [{ role: 'user', content: 'Hello from the team laptop' }],
});
console.log(response.choices[0].message.content);
```

## 团队密钥管理

**每人一把密钥。** 不要在整个团队中共享同一把密钥。每人独立的密钥让你可以：

* 将访问权限限定到特定模型（开发者获得 `team-llama` 和 `team-qwen`，测试人员仅获得 `team-llama`）
* 撤销单个人的访问而不影响其他人
* 按人追踪使用情况（如果启用了请求日志）

**命名规范。** 按人员和用途命名密钥：`alice-coding`、`bob-testing`、`ci-pipeline`、`demo-account`。当你有 20 把密钥需要判断该撤销哪一把时，你会感谢自己的。

**轮换。** 定期轮换密钥（每 90 天是一个合理的默认值）。创建新密钥，更新客户端，然后撤销旧密钥。**Share Key by email** 流程让这变得轻松——你发送一次性揭示链接，团队成员点击后看到新密钥。

**撤销。** 在 **Keys** 标签页上，点击要停用的密钥旁边的 **Revoke**。密钥立即失效。无需重启连接器或操作模型主机。

## 网络：如何避免网络难题

连接器向 `api.tokios.com` 打开一个出站 WebSocket 隧道。你的运行时保持在 `127.0.0.1` 上——无需开放入站端口，无需修改防火墙，无需配置路由器。这意味着：

* **CGNAT？** 可以工作。你的 ISP 将你置于运营商级 NAT 后（Starlink、5G、公寓宽带）？连接器仅出站通信，因此没有影响——详见[从 CGNAT 后提供本地 LLM](https://docs.tokios.com/zh/guides/llm-behind-cgnat.md)，了解为什么这是你无法自行修复的路由器设置。
* **企业防火墙？** 通常可以工作。连接器仅需出站 HTTPS（端口 443）。如果你的 IT 团队阻止出站 WebSocket，则需要例外——但大多数企业防火墙允许通过。
* **远程团队成员？** 可以工作。你的团队成员可以在同一局域网、全国各地或不同大洲。他们使用自己的 API 密钥调用 `https://api.tokios.com/v1`，请求通过隧道路由到你的本地模型。

### Tokios 与 Tailscale 与 Cloudflare Tunnel 对比

如果你已经在使用 Tailscale 或 Cloudflare Tunnel，可能想知道是否还需要 Tokios。简要回答：

* **Tailscale 单独使用** 非常适合个人多设备访问，但不提供按用户的 API 密钥、模型限定或兼容 OpenAI 的协议转换。你的 tailnet 上的每个设备对运行时拥有相同的原始访问权限。详见 [Tokios 与 Tailscale 对比](https://docs.tokios.com/zh/guides/tokios-vs-tailscale.md)。
* **Cloudflare Tunnel** 可以工作，但存在 SSE 缓冲和超时问题，会中断流式传输响应——详见[隧道与流式传输](https://docs.tokios.com/zh/guides/tunnels-and-streaming.md)了解详细情况。
* **Tokios** 专为团队访问本地模型而构建：按用户密钥、模型路由、协议转换，以及正确处理流式传输的隧道。

你也可以将 Tokios 与 Tailscale **配合使用**——例如，Tailscale 用于个人设备，Tokios 用于外部团队成员或应用。

## 何时使用 Tokios

Tokios 适用于以下场景：

* 你有本地模型，团队需要通过 API 调用它
* 你需要按人的身份认证和模型限定
* 你在 CGNAT 后或无法开放入站端口
* 你想要兼容 OpenAI 的端点，而不想处理网络配置

Tokios **不适用于**以下场景：

* 完全隔离网络（无互联网）——隧道需要出站互联网
* 受监管环境要求仅使用本地基础设施
* 你已有成熟的 API 网关，只需要隧道——改用 Cloudflare Tunnel 或 Tailscale
* 你只需要个人多设备访问——单独使用 Tailscale 更简单

详见[何时使用 Tokios](https://docs.tokios.com/zh/guides/when-to-use-tokios.md)了解完整的决策框架。

## 常见问题

> **Can my team use different models?**
>
> 可以。注册多个部署（例如 `team-llama`、`team-qwen`、`team-coder`），并将每个 API 密钥限定到该人员应访问的部署。开发者可能获得全部三个的访问权限，而测试人员仅获得 `team-llama`。

> **What happens when I swap models?**
>
> 你可以更改部署的上游模型 ID，而无需修改团队的客户端配置。他们继续调用 `team-llama`，但请求会路由到新模型。这对于升级模型（例如 `llama3.1` → `llama3.2`）而无需更新每个客户端非常有用。

> **Can I revoke access for one person?**
>
> 可以。在 **Keys** 标签页上，点击其密钥旁边的 **Revoke**。密钥立即失效，其他团队成员不受影响。

> **Does this work remotely?**
>
> 可以。你的团队成员可以在任何有互联网的地方。他们使用自己的 API 密钥调用 `https://api.tokios.com/v1`，请求通过隧道路由到你的本地模型。无需 VPN，无需 Tailscale，无需端口转发。

> **What about rate limits?**
>
> Tokios 不会在硬件能力之外施加速率限制。如果你的模型每秒处理 10 个请求，你的团队每秒可以发送 10 个请求（ collectively，而非每人）。监控你的运行时的性能并相应地扩展硬件。

> **Can I use this with Ollama, vLLM, llama.cpp, or LM Studio?**
>
> 可以。Tokios 适用于任何暴露兼容 OpenAI 的 `/v1` API 的运行时。包括 Ollama、vLLM、llama.cpp、LM Studio、SGLang、Xinference 等。详见[支持的后端](https://docs.tokios.com/zh/setup/supported-backends.md)了解完整列表。

## 后续步骤

* [API 密钥参考](https://docs.tokios.com/zh/setup/api-keys.md) — 限定、共享和撤销的完整说明
* [模型路由](https://docs.tokios.com/zh/guides/model-routing.md) — 通过一个端点提供多个模型
* [Tokios 与 Tailscale 对比](https://docs.tokios.com/zh/guides/tokios-vs-tailscale.md) — 详细对比
* [何时使用 Tokios](https://docs.tokios.com/zh/guides/when-to-use-tokios.md) — 决策框架
* [兼容客户端](https://docs.tokios.com/zh/guides/compatible-clients.md) — 找到你的客户端（Open WebUI、Continue、Cline 等）


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.