本地 LLM API（locallm API）：通过 OpenAI 兼容端点暴露你的模型

​

API 差距

• 远程访问 ——你的团队无法从笔记本电脑通过 127.0.0.1 进行访问
• 身份验证 ——运行时没有按用户的身份验证（或者只有一个共享密钥）
• 模型作用域 ——每个人都能访问所有模型，或者所有人都无法访问
• 网络 ——端口转发、Tailscale、Cloudflare Tunnel、CGNAT

• 一个路由到你本地模型的公共端点（例如 https://api.tokios.com/v1）
• 带有模型作用域的按用户 API key
• 仅出站隧道（无需入站端口）
• OpenAI 兼容接口（任何 OpenAI SDK 都可用）

​

什么是本地 LLM API？

• 身份验证 ——识别每个用户或应用的 API key（sk-tok-… 或类似格式）
• 授权 ——模型作用域（谁可以访问哪些模型）
• 路由 ——将公共部署名称映射到上游模型 id
• 协议转换 ——在需要时在不同 API 格式之间转换
• 隧道 ——将你的本地运行时连接到公共端点，无需入站端口

​

暴露本地模型的方案

​

原始运行时 API

• 无身份验证（Ollama）或单个共享密钥（vLLM、llama.cpp、LM Studio）
• 仅限 localhost ——没有额外的网络配置就无法远程访问
• 无模型作用域 ——每个人都能访问所有模型
• 无按用户追踪 ——无法分辨谁在发起请求

​

LiteLLM

• 多提供商路由（一个端点同时支持本地 + 云端）
• OpenAI 兼容接口
• 负载均衡和故障转移
• 活跃的社区

• 代理模式 ——你的客户端调用 LiteLLM，LiteLLM 调用运行时。两者都需要可达。
• 无内置隧道 ——你仍需解决网络问题（Tailscale、Cloudflare Tunnel 等）
• 单个共享 API key（开箱即无按用户身份验证）
• 自托管 ——你需要运行代理服务器

​

LocalAI

• 广泛的模态支持（文本、图像、音频、视频）
• OpenAI 兼容接口
• 自托管，注重隐私
• 活跃的开发

• 自托管 ——你需要运行服务器
• 无内置隧道 ——你仍需解决网络问题
• 单个共享 API key（无按用户身份验证）
• 比 Ollama 或 vLLM 设置更复杂

​

Tokios

• 仅出站隧道 ——连接器主动拨出，因此无需入站端口、无需端口转发、无需 Tailscale。可在 CGNAT、企业防火墙和 NAT 后工作。
• 按用户 API key ——每个团队成员获得自己的 sk-tok-… key，并限定到特定模型
• 模型路由 ——通过一个端点提供多个模型（Ollama、vLLM、llama.cpp）
• OpenAI 兼容端点 ——https://api.tokios.com/v1 可与任何 OpenAI SDK 配合使用
• 托管基础设施 ——无需运行代理服务器，无需配置隧道

• 专为团队访问本地模型而构建
• 无网络问题（仅出站隧道）
• 按用户身份验证和模型作用域
• 可在 CGNAT 后工作（Starlink、5G、公寓 ISP）
• 托管服务 ——无需维护基础设施

• 需要互联网访问（隧道需要出站连接）
• 不适合隔离网络环境
• 托管服务（非自托管）

​

对比矩阵

​

使用 Tokios 设置本地 LLM API

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="team-llama",
    messages=[{"role": "user", "content": "Hello from the team laptop"}],
)

​

客户端集成示例

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "team-llama",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="team-llama",
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)

import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://api.tokios.com/v1',
  apiKey: 'sk-tok-YOUR_KEY',
});

const response = await client.chat.completions.create({
  model: 'team-llama',
  messages: [{ role: 'user', content: 'Hello' }],
});
console.log(response.choices[0].message.content);

import Anthropic from '@anthropic-ai/sdk';

const client = Anthropic({
  baseURL: 'https://api.tokios.com/v1',
  apiKey: 'sk-tok-YOUR_KEY',
});

// Tokios translates Anthropic API calls to your local model
const response = await client.messages.create({
  model: 'team-llama',
  max_tokens: 100,
  messages: [{ role: 'user', content: 'Hello' }],
});

​

常见问题

​

后续步骤

• 团队访问本地模型 ——为团队提供 API 访问的完整演练
• API key 参考 ——作用域、分享和撤销
• 模型路由 ——通过一个端点提供多个模型
• Tokios vs LiteLLM ——详细对比
• 兼容客户端 ——找到你的客户端