本地大语言模型的远程访问——安全性对比

​

简要结论

​

本地大语言模型 API 的威胁模型

​

部署方式 1：SSH 隧道技术

​

运作原理

ssh -L 8000:127.0.0.1:8000 user@your-server-ip

​

安全特性

• 加密机制： SSH 能提供强大的加密保护。
• 身份验证： 依靠操作系统级别的凭据，即密码或密钥对。
• 访问权限范围： 任何持有 SSH 密钥的用户均可获得该机器的完整命令行访问权限，而不仅限于访问 API 端口。

​

用于大语言模型部署时的局限

• SSH 需要稳定的公网 IP 地址或中转主机，而 CGNAT 网络环境则完全无法支持 SSH。
• 网络环境发生变化时隧道会中断，且无法自动重新连接。
• 每位用户都必须自行创建隧道并配备专属 SSH 凭据，系统并不支持限定权限范围的 API 密钥机制。
• 该机制不具备内置的流传输支持功能，客户端必须自行处理连接重连事宜。

​

适用场景

​

方法 2：Tailscale

​

运作原理

# Install Tailscale on the model server
curl -fsSL https://tailscale.com/install.sh | sh
sudo tailscale up

# Access the model at the Tailscale IP from any tailnet device
curl http://100.x.y.z:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "llama3", "messages": [{"role": "user", "content": "Hello!"}]}'

​

安全特性

• 加密机制： 采用基于各设备专属密钥的 WireGuard 加密技术。
• 身份验证： 设备身份经由 Tailscale 协调服务器验证无误后方可接入网络。
• 访问权限范围： 仅被添加至您 tailnet 中的设备才有权访问该模型。

​

在大型语言模型部署场景下的局限性

• 所有调用端都必须先加入您的 tailnet 网络。这一要求对您个人使用的设备而言尚可满足，但对于需要调用 API 密钥而非 VPN 服务的团队成员、SaaS 客户或编程智能体而言则难以实现。
• Tailscale Funnel 虽可对外发布相关服务，但仅支持 443、8443 与 10000 这几个端口。此外其带宽存在上限且无法自行配置。
• 该方案缺乏 API 密钥管理机制，您只能管控设备访问权限，而无法实现基于单次请求的身份验证。
• 模型服务器本身亦未配备任何身份验证模块。只要处于 tailnet 网络内，任何用户均可无需任何令牌即可发起调用请求。

​

何时使用此方案

​

方法 3：Cloudflare Tunnel

​

运作原理

# cloudflared config.yml
tunnel: ct-tok-XXXX
credentials-file: /etc/cloudflared/creds.json

ingress:
  - hostname: llm.example.com
    service: http://127.0.0.1:8000
  - service: http_status:404

cloudflared tunnel run llm-tunnel

​

安全特性

• 加密机制： 客户端与 Cloudflare 边缘节点之间采用 TLS 协议加密，后续通信亦由 Cloudflare 与您的源服务器完成加密传输。
• 身份验证： 您可自定义验证方式，例如借助 Cloudflare Access、API 令牌或自行开发的中间件。
• 访问权限范围： 默认状态下所有流量均可公开路由，您亦可在此基础上添加额外身份验证机制。

​

用于大语言模型部署时的局限

• 缓冲机制： 除非响应内容携带了 text/event-stream content-type 标头，否则 Cloudflare 默认会对响应内容实施缓冲处理，这可能导致 SSE 流传输中断或延迟。
• 代理超时设置： 在免费版服务中，Cloudflare 的代理超时时长约为 100 秒。对于需要处理大量上下文信息或高 max_tokens 计算负载的长文本生成任务，响应内容极易在传输中途被截断。
• 无需额外 API 密钥层： 您需要自行添加身份验证机制，比如 Cloudflare Access、中间件或 API 网关。
• 复杂度较高： 需要管理 DNS 记录、Cloudflare Access 策略以及隧道生命周期。

​

适用场景

​

方法 4：使用 Tokios 连接器

​

运作原理

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "llama3-tunnel", "messages": [{"role": "user", "content": "Hello!"}]}'

​

安全特性

• 加密机制： 客户端与 api.tokios.com 之间采用 TLS 加密，随后通过出站隧道再次使用 TLS 加密传输至您的机器。
• 身份验证： 每次请求均需携带持有者令牌（sk-tok-…），还可按需限定特定的模型名称范围。
• 访问权限控制： 每个 API 密钥均可被限定仅能访问指定的部署环境。撤销某个密钥后，相关访问权限即刻失效，且无需改动任何连接器或后端配置。

​

架构说明

Your machine                    api.tokios.com              Caller
─────────────                   ──────────────              ──────
vLLM/Ollama ─┐                                            sk-tok-… key
  (localhost) ├─ connector ──── outbound tunnel ────►  gateway ──► HTTPS request
             └─ no inbound     (initiates connection)    (auth +
                port open                                routing)

​

适用场景

• 通过为每个用户分配专属 API 密钥的方式，实现模型访问权限的共享。
• 与那些需要对接标准 OpenAI 或 Anthropic 基础 URL 的编程辅助工具（如 Claude Code、Codex、Cline）进行集成。
• 在 CGNAT、企业内网 NAT 或其他无法建立入站连接的网络环境中顺利运作。
• 省去自行开发及维护身份验证模块的繁琐流程。

​

功能对比表

​

基于使用场景的推荐方案

​

直接开放端口是否可行呢？

​

您的模型始终保留在本地，而生成的端点则可在任何地方使用

​

深度解析