> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# 什么是本地 LLM（locallm）？在本地运行大语言模型的完整指南

> 本地 LLM（也称为 locallm）运行在你自己的硬件上，而非云端 API。了解团队和开发者为何选择本地推理来实现数据主权、速度和可控性——以及如何设置 API 访问。

本地 LLM（也写作 **locallm**）是一种运行在你自己的硬件上的大语言模型——你的笔记本电脑、工作站、服务器或家庭实验室 GPU 主机——而不是调用 OpenAI 或 Anthropic 等云端 API。模型权重存储在你的磁盘上，推理在你的 GPU 或 CPU 上运行，你的数据永远不会离开你的网络。

本指南介绍本地 LLM 是什么、为什么要运行它、需要什么硬件，以及如何在 30 分钟内从零开始搭建一个可访问 API 的本地模型。

最后验证日期：2026-10-24

## 什么是本地 LLM？

所谓**大语言模型（LLM）**，是在文本数据上训练的神经网络，能够生成文本、回答问题、编写代码并执行其他语言任务。常见的模型包括 Meta 的 Llama、阿里巴巴的 Qwen、DeepSeek、Mistral 和 Google 的 Gemma。

一个**本地 LLM**（有时写作 **locallm**，不带空格）就是这类模型运行在你自己的机器上，而不是通过云提供商的 API 访问。主要区别如下：

| | 云端 API（OpenAI、Anthropic） | 本地 LLM |
| - | - | - |
| **运行位置** | 提供商的数据中心 | 你的硬件 |
| **数据隐私** | 数据发送至第三方 | 数据留在你的网络内 |
| **延迟** | 网络往返 + 排队 | 仅本地推理 |
| **速率限制** | 提供商施加 | 仅受你的硬件限制 |
| **模型访问** | 提供商的模型菜单 | 任何开放权重模型 |
| **定制化** | 无（除非有微调 API） | 可使用自己的数据进行微调 |
| **成本模式** | 按 token 计费 | 硬件投入 + 电费 |

## 为什么要在本地运行 LLM？

### 数据主权

你的数据永远不会离开你的网络。对于处理敏感信息的团队——医疗记录、法律文件、专有代码、财务数据——本地推理消除了数据暴露给第三方 API 的风险。没有人在其他服务器上记录你的提示，没有人在用你的对话进行训练，也没有需要管理的合规审计追踪。

### 速度

本地推理消除了到云端 API 的网络往返。对于延迟敏感型应用——实时代码补全、交互式聊天、流式传输响应——本地模型在毫秒内响应，而不是云端 API 在高峰负载时可能需要的数百毫秒（或数秒）。

### 可控性

没有提供商施加的速率限制。没有模型弃用的意外。没有限制你生成内容的策略变更。没有 API 定价上涨。你的模型在你需要时运行，按你想要的方式运行，持续你想要的时间。

### 定制化

使用你自己的数据针对特定领域微调模型。在你的公司代码库、行业术语、团队沟通风格上训练模型。云端 API 不提供这种功能——或者对自定义微调端点收取高额费用。

### 大规模成本

对于高吞吐量的使用场景，本地推理可能比按 token 向云端 API 付费更便宜。盈亏平衡点取决于你的硬件、电费和用量——但对于每天发送数千个请求的团队来说，一次性硬件投入很快就能回本。

## 运行本地 LLM 需要什么

### 硬件要求

主要限制是 **VRAM**（GPU 上的显存）。更大的模型需要更多 VRAM：

| 模型规模 | 最低 VRAM | 示例模型 | 示例 GPU |
| - | - | - | - |
| 1B–3B | 4 GB | Qwen2.5-1.5B、Gemma 2-2B | RTX 3060、RTX 4060 |
| 7B–9B | 8 GB | Llama 3.1-8B、Qwen2.5-7B、Gemma 2-9B | RTX 4060 Ti、RTX 3080 |
| 14B | 12–16 GB | Qwen2.5-14B | RTX 4070 Ti Super、RTX 3090 |
| 32B–34B | 24 GB | Llama 3.1-32B、Qwen2.5-32B、CodeLlama-34B | RTX 3090、RTX 4090、RTX A5000 |
| 70B | 48 GB（量化）或 80 GB（全精度） | Llama 3.1-70B、Qwen2.5-72B | 2× RTX 3090、RTX A6000、DGX Spark |
| 405B | 320 GB+ | Llama 3.1-405B | 多 GPU 服务器、Mac Studio M5 Ultra 512 GB |

你也可以**仅使用 CPU**（不使用 GPU）运行模型，但推理速度会显著降低——可用于测试和轻量级工作负载，不适用于生产或交互式使用。

详细硬件指南请参阅[硬件参考](https://docs.tokios.com/zh/guides/hardware-reference.md)和[模型适配计算器](https://docs.tokios.com/zh/guides/model-fit.md)。

### 模型选择

开放权重模型有多种规模和专业化方向可供选择：

* **通用：** Llama 3.1（8B、70B、405B）、Qwen2.5（7B、14B、32B、72B）、Mistral 7B
* **代码：** Qwen2.5-Coder（7B、32B）、CodeLlama（7B、13B、34B）、DeepSeek-Coder
* **推理：** DeepSeek-R1、QwQ-32B
* **视觉：** Qwen2.5-VL、Llama 3.2 Vision
* **小型快速：** Gemma 2（2B、9B）、Phi-3（3.8B、14B）、Qwen2.5-1.5B

选择帮助请参阅[选择本地模型](https://docs.tokios.com/zh/guides/choose-a-local-model.md)和[按任务选模型](https://docs.tokios.com/zh/guides/model-by-task.md)。

### 推理引擎

你需要软件来加载模型并提供服务。主要选项如下：

| 引擎 | 优势 | 最适合 |
| - | - | - |
| **Ollama** | 最简单的设置，广泛的模型支持 | 个人使用、快速原型开发 |
| **vLLM** | 高吞吐量，生产级 | 团队、生产工作负载 |
| **llama.cpp** | 对 CPU 友好，支持量化 | 低 VRAM 硬件、边缘设备 |
| **LM Studio** | 桌面 GUI，模型浏览器 | 非技术用户、探索 |
| **SGLang** | 高性能，结构化生成 | 研究、复杂工作流 |
| **Xinference** | 多模型服务，分布式 | 多模型部署 |

详细比较请参阅[支持的后端](https://docs.tokios.com/zh/setup/supported-backends.md)和[本地 LLM Playbook](https://docs.tokios.com/zh.md) 中的各运行时指南。

## 快速入门：30 分钟内从零到本地 LLM

最快的方式是在有 GPU 的机器上使用 Ollama。

**1. 安装 Ollama**

```bash Linux theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://ollama.com/install.sh | sh
```

```bash macOS theme={"theme":{"light":"github-light","dark":"css-variables"}}
brew install ollama
```

Windows：从 [ollama.com](https://ollama.com/download) 下载。

**2. 拉取模型**

7B 模型需要 8 GB VRAM，14B 模型需要 16 GB：

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
ollama pull qwen2.5:7b
```

或

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
ollama pull qwen2.5:14b
```

**3. 验证模型响应**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:7b",
    "messages": [{"role": "user", "content": "Hello, what can you do?"}],
    "max_tokens": 100
  }'
```

你应该收到一个包含模型输出的 JSON 响应。

**4. 通过 API 暴露（可选，用于团队访问）**

如果你想让团队或外部应用访问该模型，请安装 Tokios 连接器：

```bash Linux theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX
```

你的配对码 `TKS-XXXX-XXXX` 可从 [Tokios dashboard](https://tokios.com/console) 获取。连接器会创建一个仅出站隧道，这样你的团队就可以使用 API 密钥调用 `https://api.tokios.com/v1`——无需端口转发、无需 Tailscale、无需更改防火墙设置。

完整步骤请参阅[团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)。

## 常见使用场景

### 个人 AI 助手

在你的笔记本电脑或台式机上运行模型，享受私密、无限制的使用。没有 API 费用，没有速率限制，没有数据离开你的机器。可用于写作、头脑风暴、编码、研究，或任何你会使用 ChatGPT 但希望完全保护隐私的任务。

### 团队访问共享模型

在共享服务器（家庭实验室 GPU 主机、工作站、DGX Spark）上运行强大的模型，并为团队提供 API 访问。每个团队成员获得自己的 API 密钥，并限定到特定模型。完整设置请参阅[团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)。

### 开发和测试

在部署到生产环境之前，针对本地模型测试你的应用。使用相同的 OpenAI 兼容 API 接口，但后端由你控制。开发期间没有 API 费用，测试期间没有速率限制。

### 微调和自定义模型

使用你自己的数据针对特定领域微调模型。在你的公司代码库、行业术语、团队沟通风格上训练模型。在本地部署微调后的模型，并通过相同的 API 访问。

### 气隙隔离和受监管环境

在没有互联网访问或有严格数据驻留要求的环境中运行模型。政府、医疗、金融和国防组织通常需要本地推理，因为不允许使用云端 API。

### 边缘和物联网部署

在边缘设备上运行较小的模型——Raspberry Pi、Jetson、工业控制器——无需云端连接即可进行本地推理。适用于制造业、农业、实地研究和其他远程场景。

## 挑战和解决方案

### 硬件限制

**问题：** 你没有足够的 VRAM 来运行想要的模型。

**解决方案：**

* 使用更小的模型（7B 而不是 70B）
* 量化模型（4-bit 而不是全精度）——请参阅[量化指南](https://docs.tokios.com/zh/models/quantization-and-hardware.md)
* 使用 llama.cpp 进行 CPU 推理（较慢但可用）
* 将模型分布到多个 GPU——请参阅[模型分片](https://docs.tokios.com/zh/guides/model-sharding.md)

### 网络复杂性

**问题：** 你的团队需要远程访问，但你无法开放入站端口或为每个人配置 Tailscale。

**解决方案：** 使用 Tokios——连接器通过仅出站隧道拨出，因此不需要入站端口。可在 CGNAT、企业防火墙和 NAT 后面工作。请参阅[团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)和[在 CGNAT 后面提供本地 LLM 服务](https://docs.tokios.com/zh/guides/llm-behind-cgnat.md)。

### API 兼容性

**问题：** 你的应用使用 OpenAI SDK，但你想调用本地模型。

**解决方案：** 大多数本地推理引擎（Ollama、vLLM、llama.cpp、LM Studio）都提供 OpenAI 兼容的 `/v1` API。将你的客户端指向 `http://127.0.0.1:PORT/v1` 即可工作。如果你使用 Tokios，端点是 `https://api.tokios.com/v1`——相同的接口，远程访问。

### 团队访问和认证

**问题：** 你的本地模型没有认证。网络上的任何人都可以调用它。

**解决方案：** 使用 Tokios 添加按用户的 API 密钥并限定模型范围。每个团队成员获得自己的密钥，你可以撤销一个人的访问权限而不影响其他人。请参阅[为本地模型添加 API 密钥](https://docs.tokios.com/zh/guides/add-api-keys-to-local-models.md)。

### 模型选择困难

**问题：** 有数百个模型。应该用哪个？

**解决方案：** 从 Qwen2.5-7B（通用，8 GB VRAM）或 Qwen2.5-Coder-7B（代码任务，8 GB VRAM）开始。随着你了解需求后再升级到更大的模型。请参阅[选择本地模型](https://docs.tokios.com/zh/guides/choose-a-local-model.md)和[按任务选模型](https://docs.tokios.com/zh/guides/model-by-task.md)。

## 后续步骤

* [选择本地模型](https://docs.tokios.com/zh/guides/choose-a-local-model.md)——如何为你的使用场景选择合适的模型
* [硬件参考](https://docs.tokios.com/zh/guides/hardware-reference.md)——详细的硬件要求和建议
* [团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)——让团队通过 API 访问你的本地模型
* [本地 LLM 配置方案](https://docs.tokios.com/zh/guides/local-llm-recipes.md)——常见设置的复制粘贴配置
* [支持的后端](https://docs.tokios.com/zh/setup/supported-backends.md)——Ollama、vLLM、llama.cpp、LM Studio 等

## 常见问题

> **本地 LLM 和 ChatGPT 一样好吗？**
>
> 对于很多任务，是的。Llama 3.1-70B、Qwen2.5-72B 和 DeepSeek-R1 等开放权重模型在许多基准测试中匹配或超过 GPT-4。对于日常聊天、代码生成和推理，精心选择的本地模型能提供相当的质量。差距正在迅速缩小——请参阅[什么是评测？](https://docs.tokios.com/zh/guides/what-are-evals.md)了解模型如何比较。

> **没有 GPU 能运行本地 LLM 吗？**
>
> 可以，但会很慢。CPU 推理在 llama.cpp 和 Ollama 上可用，但性能比 GPU 推理慢 5–10 倍。可用于测试和轻量级工作负载，不适用于生产或交互式使用。8 GB VRAM 的 GPU 是获得良好体验的实际最低要求。

> **运行本地 LLM 要花多少钱？**
>
> 模型本身是免费的（开放权重）。你的成本是硬件（GPU、内存、存储）和电费。配备 RTX 4090 的工作站约 $2,000–$3,000。24/7 推理的电费约 $50–$100/月，取决于你当地的电价。对于高吞吐量使用场景，这比按 token 向云端 API 付费更便宜。

> **可以用自己的数据微调本地 LLM 吗？**
>
> 可以。Unsloth、Axolotl 和 LLaMA-Factory 等工具让你在自己的数据上微调开放权重模型。你需要一个有足够 VRAM 的 GPU 来加载模型和训练数据（通常需要 24 GB VRAM 用于 7B 模型，48+ GB 用于 13B 模型）。部署指南请参阅[部署你的微调模型](https://docs.tokios.com/zh/guides/serve-your-fine-tune.md)。

> **本地 LLM 和 OpenAI 等 API 有什么区别？**
>
> 本地 LLM 运行在你的硬件上——你控制模型、数据和基础设施。OpenAI 等 API 运行在他们的服务器上——你通过互联网发送数据，他们运行推理，你按 token 付费。本地提供数据主权、速度和可控性。云端提供便利和无限扩展能力（但有成本）。

> **我的团队可以远程访问我的本地 LLM 吗？**
>
> 可以。使用 Tokios 创建从本地模型到 `https://api.tokios.com/v1` 的仅出站隧道。你的团队使用他们的 API 密钥调用该端点——无需端口转发、无需 Tailscale、无需更改防火墙设置。完整设置请参阅[团队访问本地模型](https://docs.tokios.com/zh/use-cases/team-access.md)。

> **什么是 locallm？和本地 LLM 有区别吗？**
>
> 没有区别——"locallm" 只是 "local LLM" 写成一个词。你会在搜索、社区讨论（如 r/LocalLLaMA）和项目名称中看到这两种写法。一些工具和库使用 "locallm" 作为包名（例如 Python `locallm` 包），但它们都指同一个概念：在你自己的硬件上运行大语言模型，而不是使用云端 API。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.