> ## Documentation Index > Fetch the complete documentation index at: https://docs.tokios.com/llms.txt > Use this file to discover all available pages before exploring further. > ## Agent Instructions > Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel. > Use 'connector' for the local tokios-connector process. > Use 'deployment' for the public model name in the API model field. > Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend. > API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-. # 自托管 LLM — 运行、服务、掌控 > 如何在自有硬件上自托管私有 LLM（locallm），选择合适的运行时和模型，并为其配置安全的认证端点，让团队可以从任何地方调用。 自托管 LLM（也称为**私有 LLM** 或 **locallm**）运行在你拥有的硬件上 — 你的提示词、权重和数据永远不会离开你的网络。安装一个运行时（Ollama 是最快的起步方式），拉取一个开源权重模型，2 条命令即可拥有私有 AI。大多数指南跳过的一步：为模型配置**安全的认证端点**，让团队、工具和智能体可以从任何设备调用，而无需暴露端口。 最后验证时间：2026-10-24 ## 什么是自托管 LLM？ 自托管 LLM 是一个开源权重语言模型（Llama、Qwen、Mistral、DeepSeek、GLM），你将其下载并使用服务运行时在自己的硬件上运行。与托管 API（OpenAI、Anthropic、Google）不同，你的提示词永远不会离开你的机器。你掌控模型、数据路径、可用性和访问权限。 ## 为什么要自托管？ | 原因 | 含义 | | - | - | | **数据主权** | 你的数据永远不会离开你的网络。没有第三方日志记录，不会用你的提示词进行训练。 | | **掌控力** | 选择模型、量化方式、上下文长度和服务配置。没有速率限制，没有策略变更，没有模型下线。 | | **速度** | 本地推理消除网络往返延迟。模型在毫秒内响应，而非秒级。 | | **定制化** | 使用你自己的数据针对特定领域进行微调。云端 API 不允许这样做 — 或者收取高额费用。 | | **合规性** | 通过设计满足数据驻留、物理隔离和主权要求。适用于 HIPAA、GDPR 和受监管行业。 | | **大规模成本** | 对于高用量场景，本地推理比按 token 计费的云端 API 更便宜。一次硬件投入，无限推理。 | Vitalik Buterin 在 [2026 年四月的文章](https://vitalik.eth.limo/general/2026/04/02/secure_llms.html) 中详细说明了托管模型的后门和审查风险，以及本地服务对数据主权的重要性。 ## 选择运行时 | 运行时 | 最适合 | 默认端口 | 兼容 OpenAI | | - | - | - | - | | **Ollama** | 最简单起步，1 条命令拉取模型 | 11434 | 是（`/v1`） | | **LM Studio** | GUI 优先，适合初学者 | 1234 | 是（`/v1`） | | **llama.cpp** | 最大控制力，细粒度量化 | 8080 | 是（`/v1`） | | **vLLM** | 高吞吐多 GPU 服务 | 8000 | 是（`/v1`） | > [!TIP] > > 从 Ollama 开始。它自动处理模型下载、量化和 GPU 卸载。当你需要并发请求吞吐量时，再升级到 vLLM。 ## 硬件适配 内存是主要约束。计算公式：**参数量 × 每权值字节数 + 开销**。 | 模型规模 | Q4 内存占用 | 适用硬件 | | - | - | - | | 7–8B | \~5 GB | 8 GB GPU / 16 GB RAM | | 13–14B | \~9 GB | 16 GB GPU / 32 GB RAM | | 32–35B | \~20 GB | 24 GB GPU / 32 GB RAM | | 70B | \~43 GB | 48 GB GPU / 64 GB RAM | | 671B MoE | \~350 GB+ | 多 GPU 服务器 | **计算示例：** 32B 参数 × 0.5 字节（4-bit）= 16 GB 权重 + \~4 GB KV 缓存/运行时 = \~20 GB 总计。 详见完整的[硬件参考](https://docs.tokios.com/zh/guides/hardware-reference.md)和[模型适配计算器](https://docs.tokios.com/zh/guides/model-fit.md)以获取详细的规格 sizing。 ## 运行你的第一个模型 **1. 安装 Ollama** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl -fsSL https://ollama.com/install.sh | sh ``` **2. 拉取模型** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} ollama pull qwen3:8b ``` **3. 运行模型** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} ollama run qwen3:8b ``` 现在你拥有了一个私有 LLM。你的提示词从未离开你的机器。 Ollama 还在 `http://127.0.0.1:11434/v1` 提供兼容 OpenAI 的 API — 任何 OpenAI SDK 都可以在本地调用它。 ## 缺失的一环：认证访问 这是每个自托管指南都会碰到的墙：你的模型在 `localhost` 上运行正常，但你的**笔记本、队友、编码智能体或 n8n 工作流**无法安全地访问它。 * 绑定到 `0.0.0.0` 会在**没有任何认证**的情况下暴露模型 — 网络上的任何人都可以调用它。 * 端口转发在 CGNAT 后面失败（Starlink、公寓 ISP）。 * 隧道（Cloudflare、ngrok）会增加缓冲、超时和请求限制。 Tokios 连接器补上了缺失的一环：**经过认证的、HTTPS、兼容 OpenAI 和 Anthropic 的端点** — 无需开放端口。 **1. 保持模型在 localhost 上** 使用默认绑定。不要修改。 **2. 配对连接器** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} tokios-connector TKS-XXXX-XXXX ``` 在 [dashboard](https://tokios.com/console) 中批准。 **3. 注册部署** 为你的模型指定一个公开名称（例如 `private-qwen3`）。 **4. 创建作用域 API 密钥** 每个队友或工具 1 个密钥。按模型名称通配符设置作用域。可即时撤销。 **5. 从任何地方调用** ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}} curl https://api.tokios.com/v1/chat/completions \ -H "Authorization: Bearer sk-tok-YOUR_KEY" \ -H "Content-Type: application/json" \ -d '{"model": "private-qwen3", "messages": [{"role": "user", "content": "Hello!"}]}' ``` 你已经拥有了一个运行中的私有 LLM。现在为它配置一个安全的认证端点，让团队和工具可以从任何地方调用。 ## 从云端 API 迁移 如果你目前使用 OpenAI、Anthropic 或其他云端 API，迁移非常直接： 1. **选择等效的开源权重模型。** Llama 3.1 70B、Qwen3 72B 或 DeepSeek-R1 在大多数基准测试中与 GPT-4 相当。 2. **使用 Ollama 或 vLLM 在本地提供服务**（参见上方步骤）。 3. **将现有代码指向本地端点。** 将 `base_url` 从 `https://api.openai.com/v1` 改为 `https://api.tokios.com/v1`（或本地的 `http://127.0.0.1:PORT/v1`）。 4. **其他什么都不用改。** OpenAI SDK、Anthropic SDK 和所有兼容客户端的使用方式完全相同。 你的应用代码不需要改。你的提示词不需要改。你的工作流不需要改。唯一的区别：你的数据留在你的网络上。 详见[将 AI 引入内部](https://docs.tokios.com/zh/guides/bring-your-ai-in-house.md)获取完整的迁移指南。 ## 常见问题 > **什么是私有 LLM？** > > 运行在你控制的硬件上的语言模型。你的提示词、输出和数据永远不会离开你的网络。开源权重模型（Llama、Qwen、Mistral、DeepSeek）使这成为可能 — 你下载权重并自行提供服务。 > **我可以自托管 ChatGPT 吗？** > > ChatGPT 本身不行（它是专有的），但你可以自托管质量相当的模型 — Llama 3.1 70B、Qwen3 72B、DeepSeek-R1 70B — 并通过 Open WebUI 或任何兼容 OpenAI 的客户端获得类似 ChatGPT 的体验。 > **自托管 LLM 的成本是多少？** > > 硬件：一块 16 GB GPU（RTX 4080，\~$1,200）即可舒适运行 8B 模型。一块 24 GB RTX 4090（~$1,600）可处理 32B。硬件之后，每个 token 的边际成本仅为电费。没有订阅费，没有按 token 计费。 > **自托管 LLM 安全吗？** > > 在数据隐私方面比托管 API 更安全 — 没有任何数据离开你的网络。风险在于在没有认证的情况下暴露服务端口。将模型保持在 localhost 上，并使用认证端点（如 Tokios）进行远程访问。 > **我可以在离线/物理隔离环境下运行私有 LLM 吗？** > > 可以。Ollama 和 llama.cpp 在模型下载完成后完全可以离线运行。对于物理隔离环境，在有网络的机器上下载模型文件后传输过去。Tokios 连接器需要出站互联网连接以访问 `api.tokios.com` — 对于完全物理隔离的环境，直接调用模型的 localhost API。 > **如何让团队访问我自托管的模型？** > > 在 Tokios 控制台中为每个队友创建独立的 `sk-tok-…` API 密钥。为每个密钥设置特定部署的作用域。无需接触模型或服务器即可即时撤销访问。没有共享密码，没有暴露端口。详见[团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)。 > **[团队访问](https://docs.tokios.com/zh/use-cases/team-access.md)** > > 为团队提供本地模型 API 访问权限的完整指南。 > **[将 AI 引入内部](https://docs.tokios.com/zh/guides/bring-your-ai-in-house.md)** > > 从云端 API 切换到本地推理的团队的迁移指南。 > **[Ollama 远程访问](https://docs.tokios.com/zh/guides/ollama-remote-access.md)** > > Ollama 认证远程访问的完整指南。 > **[快速入门](https://docs.tokios.com/zh/quickstart.md)** > > 配对连接器并注册你的第一个模型。 > **[模型适配指南](https://docs.tokios.com/zh/guides/model-fit.md)** > > 为你的具体硬件找到合适的模型。 > **[什么是本地 LLM？](https://docs.tokios.com/zh/guides/what-is-local-llm.md)** > > 在本地运行大语言模型的完整指南。 This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.