随时随地安全使用 llama.cpp 服务器

默认情况下，llama-server 会在 http://127.0.0.1:8080/v1 端口监听请求；若不设置更广泛的绑定范围或进行端口转发，其他机器便无法访问。llama-server 虽提供了可选的 --api-key 参数，但该参数默认处于关闭状态，且 TLS 配置工作仍需由用户自行完成。建议将 llama-server 保留在本地主机运行，再搭配 Tokios 连接器使用：该连接器会主动连接至 https://api.tokios.com，而您的各类工具、团队成员或智能代理则只需调用一个经过身份验证的端点即可。

`llama-server` 的身份验证功能属于可选设置，默认处于关闭状态。

llama-server 即 llama.cpp 自带的兼容 OpenAI 协议的服务器，专门用于通过 HTTP 协议提供 GGUF 模型服务。启动后，除非另行配置，否则任何能访问该端口的用户均可发送请求，无需提供任何令牌。

llama-server -m model.gguf --port 8080

您可借助 --api-key <key> 参数强制要求调用者提供 Bearer 令牌，这不失为一种基础的安全防护手段。不过该机制并非默认启用，TLS 配置亦需用户手动处理，llama-server 并不会自动完成相关设置。

这并非对 llama-server 的批评——它本就是一款轻量且便于嵌入的推理服务器；将身份验证与 TLS 设为可选配置也便于其在可信环境或自有基础设施中顺利运行。而 Tokios 则专为解决另一类需求而设计：无需开放入站端口或手动配置 TLS，即可将本地端点转化为可从任意位置调用的受认证 API。 llama.cpp 正是 Tokios 的核心后端之一。

仅支持出站连接的实现方式

按常规方式在本地启动 llama-server

将 llama-server 保留在 127.0.0.1 端口运行——切勿将其绑定至超出本地回环地址的范围。启动时请指定您的 GGUF 模型：

llama-server -m model.gguf --port 8080

保持 http://127.0.0.1:8080 在默认端口上监听即可。

配对 Tokios 连接器

登录至 tokios.com/console，打开 Setup 页面并点击 Start pairing。此时 Tokios 会生成一个一次性的 申领令牌，其内容为 TKS-XXXX-XXXX，有效期约为 15 分钟。在运行 llama-server 的机器上，执行适用于您操作系统的安装命令即可。

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

若您已安装 tokios-connector，可直接输入该令牌进行配置。

tokios-connector TKS-XXXX-XXXX

回到控制台 approve 该设备：在 Setup 或 Connectors 选项卡中操作。连接器的令牌在批准后会通过隧道下发——您永远不会在屏幕上看到它，也无需将其粘贴到任何文件中。

将连接器指向 llama-server 提供的 /v1 接口

llama-server 本身即兼容 Tokios 所需的 OpenAI 对话补全协议。若仅部署单一模型，控制台设置向导会自动选用 http://127.0.0.1:8080/v1 作为上游模型 ID。若通过 tokios-connector.json 配置文件运行多模型，则需手动指定上游模型 ID 为 BaseUrl。

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8080/v1"
  }
}

关于多模型配置文件的完整格式说明，请参阅连接器配置。

执行部署操作

在 Models 页面中注册 llama.cpp 模型并设定一个 公开名称，例如 llama-tunnel。客户端实际调用时需使用的正是此公开名称，而非 GGUF 文件或模型内部 ID，该名称需填入 model 字段中。

生成 API 密钥

进入 Keys 页面后点击 Create key。您还可按需限定该密钥的适用范围，例如指定特定模型名称模式（多个模式以逗号分隔，使用 * 即代表全部模型）。请即刻复制生成的 sk-tok-… 令牌——该内容仅显示一次。

随时随地均可使用

一旦获取了部署名称与 API 密钥，任何兼容 OpenAI 或 Anthropic 协议的客户端均可访问您的 llama.cpp 模型——无论是在其他机器、同事的笔记本电脑上，还是通过托管代理访问。

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="llama-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model llama-tunnel

此处的 model 字段必须填写您注册的部署名称（即上文提到的 llama-tunnel），切勿填入 GGUF 文件名或本地模型 ID。如需在多次会话中保持环境变量不变，请参阅使用 Claude Code。

常见问题

支持流式传输吗？

支持。设置好 "stream": true 后，Tokios 会根据您调用的 API 类型返回符合 OpenAI 或 Anthropic 规范的标准服务器推送事件。

我微调过 GGUF 模型——能否通过此服务发布呢？

是的。llama-server 会托管您通过 -m 指向的任何 GGUF 文件，微调模型也包括在内。将其注册为独立的部署并使用独立的公开名称，方式与注册任何其他模型相同。有关从微调模型到 Tokios 部署的端到端流程，请参阅托管您的微调模型。

能否同时发布多个 GGUF 模型呢？

当然可以。您既可在 Models 标签页内注册多个部署项，也可借助 tokios-connector.json 配置文件定义多个上游模型与路由规则——尤其适合需要运行多个 llama-server 实例且各占不同端口的场景。详情参见连接器配置说明。

是否仍需设置 llama-server 的 --api-key 参数呢？

出于安全考量，您仍可在连接器与 llama-server 间的本地连接中保留该参数，但它并非验证外部调用者身份的依据。发送至 https://api.tokios.com 的客户端请求均需通过您的 sk-tok-… 令牌验证；唯有获得授权的连接器方可访问 127.0.0.1:8080。

您的模型始终运行在本地设备上，而对应的端点则可随处调用。

llama-server 仍会在本地主机上执行现有功能，无需开放任何入站端口，也无需手动配置 TLS 协议。该连接器仅负责向外发起连接。其余环节如身份验证、路由分配及数据流传输均通过单一端点实现，您可让任意设备、团队成员或获得相应令牌的智能体调用此端点。

快速入门

完成连接器配对并成功注册首个模型。

API 密钥

为团队成员及智能体创建、设定权限并定期轮换 sk-tok-… 令牌。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

随时随地安全使用 llama.cpp 服务器

`llama-server` 的身份验证功能属于可选设置，默认处于关闭状态。

仅支持出站连接的实现方式

随时随地均可使用

常见问题

您的模型始终运行在本地设备上，而对应的端点则可随处调用。

快速入门

API 密钥

​llama-server 的身份验证功能属于可选设置，默认处于关闭状态。

​仅支持出站连接的实现方式

​随时随地均可使用

​常见问题

​您的模型始终运行在本地设备上，而对应的端点则可随处调用。

快速入门

API 密钥

`llama-server` 的身份验证功能属于可选设置，默认处于关闭状态。

仅支持出站连接的实现方式

随时随地均可使用

常见问题

您的模型始终运行在本地设备上，而对应的端点则可随处调用。