无论身处何地，都能安全使用 Xinference 服务器

Xinference（即 Xorbits Inference）会在本地机器上通过 OpenAI 兼容的 API 提供模型服务；默认情况下该 API 仅响应本地请求，因此其他机器无法直接访问，除非你修改绑定范围或转发端口。建议让 Xinference 继续运行在本地，再在旁边运行 Tokios 连接器：该连接器会主动连接至 https://api.tokios.com，随后各类工具、团队成员或智能体便可通过一个经过身份验证的端点从任意位置发起调用。

高级运行环境。Xinference 是一款专为复杂部署场景设计的模型服务框架。若你仅想以最简单的方式运行模型，可先尝试使用 Ollama 或 LM Studio。

Xinference 提供了 OpenAI 兼容的聊天补全 API，因此它能像其他 OpenAI 兼容服务器一样与 Tokios 协同工作：该连接器会将请求转发至你指定的任意 /v1 BaseUrl 端点，无论该端点由哪款服务器提供。Ollama、llama.cpp、vLLM 以及 LM Studio 是 Tokios 文档中介绍最为详尽的后端服务，但任何符合 OpenAI 标准的服务——包括 Xinference——均可以相同方式运作。

仅支持出站连接的实现方式

按常规方式在本地运行 Xinference

启动本地 Xinference 服务器——例如通过 xinference-local 命令——随后借助其用户界面或命令行工具加载模型。具体启动命令与参数会因版本而异，请查阅对应版本的说明文档。

xinference-local

Xinference 通常将 OpenAI 兼容 API 绑定至端口 9997 上运行——请确认你当前安装版本的默认端口值。务必将该服务绑定至 127.0.0.1 而非 0.0.0.0，同时切勿在路由器上转发该端口。

配置 Tokios 连接器

登录 tokios.com/console 页面后进入 Setup 选项卡并点击 Start pairing。此时 Tokios 会生成一个一次性使用的令牌代码，例如 TKS-XXXX-XXXX，该代码的有效期约为 15 分钟。在运行 Xinference 的机器上，执行适用于您操作系统的安装命令即可。

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

已经安装了 tokios-connector？直接输入对应代码即可完成配置。

tokios-connector TKS-XXXX-XXXX

回到控制台 approve 该设备：在 Setup 或 Connectors 选项卡中操作。连接器的令牌在批准后会通过隧道下发——您永远不会在屏幕上看到它，也无需将其粘贴到任何文件中。

将连接器指向 Xinference 提供的 /v1 API 接口。

若仅需部署单个模型，控制台的设置向导会要求您填写上游基础 URL，此时请输入 Xinference 的 OpenAI 兼容端点地址 http://127.0.0.1:<port>/v1（端口号请参照实际安装配置）。若需通过 tokios-connector.json 配置文件同时部署多个模型，则需明确指定上游 BaseUrl 参数。

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:9997/v1"
  }
}

实际使用前请先确认 9997 参数与当前运行的 Xinference 实例相匹配。关于多模型配置文件的完整格式说明，请参阅连接器配置。

执行部署注册操作。

在 Models 标签页中注册 Xinference 模型并设定一个 公开名称，例如 xinference-tunnel。客户端在调用时实际发送的是该公开名称而非 Xinference 生成的原始模型 ID，该名称需填入 model 字段中。

生成 API 密钥。

进入 Keys 标签页后点击 Create key 按钮即可创建密钥。您还可按需限定该密钥的适用范围，例如指定特定模型名称模式（多个模式以逗号分隔，使用 * 即代表所有模型）。请务必立即复制生成的 sk-tok-… 密钥，该内容仅显示一次。

任意位置均可调用该模型。

获得部署名称与 API 密钥后，任何兼容 OpenAI 或 Anthropic 协议的客户端均可访问您的 Xinference 模型，无论它们位于其他机器、同事的笔记本电脑还是云端环境中。

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "xinference-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="xinference-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model xinference-tunnel

该 model 字段始终对应您注册的部署名称（即上文中的 xinference-tunnel），而非您在 Xinference 中启动的模型 ID。若需在多个会话中持续使用相关环境变量，请参阅使用 Claude Code 的说明。

常见问题

Xinference 是否获得官方支持？

Tokios 文档对 Ollama、llama.cpp、vLLM 以及 LM Studio 的适配最为详尽。不过该连接器同样可兼容任何提供符合 OpenAI 规范之聊天补全 API 的服务器，其基础 URL 即为 /v1。由于 Xinference 也具备此类功能，因此它同样可作为通用的 OpenAI 兼容型上游服务使用。在正式环境中启用前，请务必验证其实际表现是否符合预期。

流式传输功能是否可用？

可以。前提是您所使用的 Xinference 模型及服务器均支持流式响应。设定好 "stream": true 参数后，Tokios 便会依据您所选的 API 类型，以 OpenAI 或 Anthropic 格式返回标准的服务器推送事件（SSE）。

能否同时部署多个 Xinference 模型？

完全可以。您可在 Models 选项卡中新增部署配置，也可借助 tokios-connector.json 配置文件来定义多个上游模型及其路由规则，这在您于 Xinference 中运行多款模型时尤为实用。详情请参阅连接器配置说明。

能否在不直接暴露 Xinference 服务的前提下，让团队成员也能访问相关资源？

可以。为每位团队成员创建单独的 sk-tok-… 密钥（在 Keys 选项卡中），并将每个密钥的范围限定为仅他们需要的部署。吊销密钥会立即使其无法通过身份验证，因此您可以在不改动 Xinference 或连接器的情况下切断访问。

您的模型始终留存于本地设备，而对应的端点却可随处调用

Xinference 仍会在本地主机上照常运行，除 /v1 外不会开放任何入站端口或外部端点。该连接器仅负责向外发起请求。其余诸如身份验证、路由分配及流式传输等所有功能均通过单一端点实现，您可随意授权任意设备、团队成员或智能代理调用该端点。

支持的后端

查看目前 Tokios 明确测试并支持的本地运行环境。

API 密钥

为团队成员及各类代理创建、设定权限并轮换 sk-tok-… 类型的令牌。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

无论身处何地，都能安全使用 Xinference 服务器

仅支持出站连接的实现方式

任意位置均可调用该模型。

常见问题

您的模型始终留存于本地设备，而对应的端点却可随处调用

支持的后端

API 密钥

​仅支持出站连接的实现方式

​任意位置均可调用该模型。

​常见问题

​您的模型始终留存于本地设备，而对应的端点却可随处调用

支持的后端

API 密钥

仅支持出站连接的实现方式

任意位置均可调用该模型。

常见问题

您的模型始终留存于本地设备，而对应的端点却可随处调用