从家庭实验室的 GPU 服务器向团队提供模型服务

​

家庭实验室服务器的网络可达性问题

• 缺乏可绑定的公网 IP。 若你的 ISP 使用了运营商级 NAT 技术，那么根本不存在可供端口转发规则使用的唯一公网地址——具体原因可参阅 如何在 CGNAT 环境下提供本地大语言模型服务，该问题属于路由器层面的设置，普通用户无法自行解决。
• 即便具备条件也不愿直接公开服务。 若将运行环境绑定至 0.0.0.0 并开放端口，该 GPU 服务器就会变成一个完全无身份验证的公开服务，任何知晓该端口的人都能向其发送请求。
• 共享访问权限意味着共享全部资源。 把 Tailscale 节点或开放端口的权限交给团队成员，就等于赋予他们与你相同的访问权限——包括其设备上的所有程序，系统并未提供针对个人的访问令牌，也无法单独限制某位用户的访问权限而不影响其他人。

​

在服务器上完成配置

ollama serve

vllm serve meta-llama/Llama-3.1-8B-Instruct

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

tokios-connector TKS-XXXX-XXXX

​

同时提供多个模型的服务

​

随时随地调用该服务

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "homelab-llama",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello from the team laptop"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="homelab-llama",
    messages=[{"role": "user", "content": "Hello from the team laptop"}],
)

​

为何整个团队仅需一个统一端点

• 服务器端绝不会开放任何入站端口。该连接器仅执行出站连接操作，因此团队成员无需配置 VPN 对等节点、SSH 隧道或指定 0.0.0.0 端口即可访问服务器；即便处于 CGNAT 网络环境下此规则依然适用。
• 可单独吊销特定成员的令牌而不影响他人。由于每位用户均持有独立的 sk-tok-… 令牌，在 Keys 页面中禁用或删除某成员的令牌后，该成员即刻失去访问权限，其余成员的令牌仍可正常使用。
• 更换模型时无需修改客户端配置。只需将某个部署名称关联至其他上游模型或后端服务，所有原本指向 homelab-llama 的客户端程序与脚本均可继续正常运行。

​

后续操作指引