跳转到主要内容
自托管 LLM（也称为私有 LLM 或 locallm）运行在你拥有的硬件上 — 你的提示词、权重和数据永远不会离开你的网络。安装一个运行时（Ollama 是最快的起步方式），拉取一个开源权重模型，2 条命令即可拥有私有 AI。大多数指南跳过的一步：为模型配置安全的认证端点，让团队、工具和智能体可以从任何设备调用，而无需暴露端口。 最后验证时间：2026-10-24

​
什么是自托管 LLM？

自托管 LLM 是一个开源权重语言模型（Llama、Qwen、Mistral、DeepSeek、GLM），你将其下载并使用服务运行时在自己的硬件上运行。与托管 API（OpenAI、Anthropic、Google）不同，你的提示词永远不会离开你的机器。你掌控模型、数据路径、可用性和访问权限。

​
为什么要自托管？

Vitalik Buterin 在 2026 年四月的文章 中详细说明了托管模型的后门和审查风险，以及本地服务对数据主权的重要性。

​
选择运行时

从 Ollama 开始。它自动处理模型下载、量化和 GPU 卸载。当你需要并发请求吞吐量时，再升级到 vLLM。

​
硬件适配

内存是主要约束。计算公式：参数量 × 每权值字节数 + 开销。 计算示例： 32B 参数 × 0.5 字节（4-bit）= 16 GB 权重 + ~4 GB KV 缓存/运行时 = ~20 GB 总计。 详见完整的硬件参考和模型适配计算器以获取详细的规格 sizing。

​
运行你的第一个模型

1

安装 Ollama

2

拉取模型

3

运行模型

现在你拥有了一个私有 LLM。你的提示词从未离开你的机器。
Ollama 还在 http://127.0.0.1:11434/v1 提供兼容 OpenAI 的 API — 任何 OpenAI SDK 都可以在本地调用它。

​
缺失的一环：认证访问

这是每个自托管指南都会碰到的墙：你的模型在 localhost 上运行正常，但你的笔记本、队友、编码智能体或 n8n 工作流无法安全地访问它。
  • 绑定到 0.0.0.0 会在没有任何认证的情况下暴露模型 — 网络上的任何人都可以调用它。
  • 端口转发在 CGNAT 后面失败（Starlink、公寓 ISP）。
  • 隧道（Cloudflare、ngrok）会增加缓冲、超时和请求限制。
Tokios 连接器补上了缺失的一环：经过认证的、HTTPS、兼容 OpenAI 和 Anthropic 的端点 — 无需开放端口。
1

保持模型在 localhost 上

使用默认绑定。不要修改。
2

配对连接器

在 dashboard 中批准。
3

注册部署

为你的模型指定一个公开名称（例如 private-qwen3）。
4

创建作用域 API 密钥

每个队友或工具 1 个密钥。按模型名称通配符设置作用域。可即时撤销。
5

从任何地方调用

你已经拥有了一个运行中的私有 LLM。现在为它配置一个安全的认证端点，让团队和工具可以从任何地方调用。

​
从云端 API 迁移

如果你目前使用 OpenAI、Anthropic 或其他云端 API，迁移非常直接：
  1. 选择等效的开源权重模型。 Llama 3.1 70B、Qwen3 72B 或 DeepSeek-R1 在大多数基准测试中与 GPT-4 相当。
  2. 使用 Ollama 或 vLLM 在本地提供服务（参见上方步骤）。
  3. 将现有代码指向本地端点。 将 base_url 从 https://api.openai.com/v1 改为 https://api.tokios.com/v1（或本地的 http://127.0.0.1:PORT/v1）。
  4. 其他什么都不用改。 OpenAI SDK、Anthropic SDK 和所有兼容客户端的使用方式完全相同。
你的应用代码不需要改。你的提示词不需要改。你的工作流不需要改。唯一的区别：你的数据留在你的网络上。 详见将 AI 引入内部获取完整的迁移指南。

​
常见问题

运行在你控制的硬件上的语言模型。你的提示词、输出和数据永远不会离开你的网络。开源权重模型（Llama、Qwen、Mistral、DeepSeek）使这成为可能 — 你下载权重并自行提供服务。
ChatGPT 本身不行（它是专有的），但你可以自托管质量相当的模型 — Llama 3.1 70B、Qwen3 72B、DeepSeek-R1 70B — 并通过 Open WebUI 或任何兼容 OpenAI 的客户端获得类似 ChatGPT 的体验。
硬件：一块 16 GB GPU（RTX 4080，~$1,200）即可舒适运行 8B 模型。一块 24 GB RTX 4090（~$1,600）可处理 32B。硬件之后，每个 token 的边际成本仅为电费。没有订阅费，没有按 token 计费。
在数据隐私方面比托管 API 更安全 — 没有任何数据离开你的网络。风险在于在没有认证的情况下暴露服务端口。将模型保持在 localhost 上，并使用认证端点（如 Tokios）进行远程访问。
可以。Ollama 和 llama.cpp 在模型下载完成后完全可以离线运行。对于物理隔离环境，在有网络的机器上下载模型文件后传输过去。Tokios 连接器需要出站互联网连接以访问 api.tokios.com — 对于完全物理隔离的环境，直接调用模型的 localhost API。
在 Tokios 控制台中为每个队友创建独立的 sk-tok-… API 密钥。为每个密钥设置特定部署的作用域。无需接触模型或服务器即可即时撤销访问。没有共享密码，没有暴露端口。详见团队访问本地模型。

团队访问

为团队提供本地模型 API 访问权限的完整指南。

将 AI 引入内部

从云端 API 切换到本地推理的团队的迁移指南。

Ollama 远程访问

Ollama 认证远程访问的完整指南。

快速入门

配对连接器并注册你的第一个模型。

模型适配指南

为你的具体硬件找到合适的模型。

什么是本地 LLM？

在本地运行大语言模型的完整指南。