什么是本地 LLM（locallm）？在本地运行大语言模型的完整指南

本地 LLM（也写作 locallm）是一种运行在你自己的硬件上的大语言模型——你的笔记本电脑、工作站、服务器或家庭实验室 GPU 主机——而不是调用 OpenAI 或 Anthropic 等云端 API。模型权重存储在你的磁盘上，推理在你的 GPU 或 CPU 上运行，你的数据永远不会离开你的网络。本指南介绍本地 LLM 是什么、为什么要运行它、需要什么硬件，以及如何在 30 分钟内从零开始搭建一个可访问 API 的本地模型。最后验证日期：2026-10-24

什么是本地 LLM？

所谓大语言模型（LLM），是在文本数据上训练的神经网络，能够生成文本、回答问题、编写代码并执行其他语言任务。常见的模型包括 Meta 的 Llama、阿里巴巴的 Qwen、DeepSeek、Mistral 和 Google 的 Gemma。一个本地 LLM（有时写作 locallm，不带空格）就是这类模型运行在你自己的机器上，而不是通过云提供商的 API 访问。主要区别如下：

	云端 API（OpenAI、Anthropic）	本地 LLM
运行位置	提供商的数据中心	你的硬件
数据隐私	数据发送至第三方	数据留在你的网络内
延迟	网络往返 + 排队	仅本地推理
速率限制	提供商施加	仅受你的硬件限制
模型访问	提供商的模型菜单	任何开放权重模型
定制化	无（除非有微调 API）	可使用自己的数据进行微调
成本模式	按 token 计费	硬件投入 + 电费

为什么要在本地运行 LLM？

数据主权

你的数据永远不会离开你的网络。对于处理敏感信息的团队——医疗记录、法律文件、专有代码、财务数据——本地推理消除了数据暴露给第三方 API 的风险。没有人在其他服务器上记录你的提示，没有人在用你的对话进行训练，也没有需要管理的合规审计追踪。

速度

本地推理消除了到云端 API 的网络往返。对于延迟敏感型应用——实时代码补全、交互式聊天、流式传输响应——本地模型在毫秒内响应，而不是云端 API 在高峰负载时可能需要的数百毫秒（或数秒）。

可控性

没有提供商施加的速率限制。没有模型弃用的意外。没有限制你生成内容的策略变更。没有 API 定价上涨。你的模型在你需要时运行，按你想要的方式运行，持续你想要的时间。

定制化

使用你自己的数据针对特定领域微调模型。在你的公司代码库、行业术语、团队沟通风格上训练模型。云端 API 不提供这种功能——或者对自定义微调端点收取高额费用。

大规模成本

对于高吞吐量的使用场景，本地推理可能比按 token 向云端 API 付费更便宜。盈亏平衡点取决于你的硬件、电费和用量——但对于每天发送数千个请求的团队来说，一次性硬件投入很快就能回本。

运行本地 LLM 需要什么

硬件要求

主要限制是 VRAM（GPU 上的显存）。更大的模型需要更多 VRAM：

模型规模	最低 VRAM	示例模型	示例 GPU
1B–3B	4 GB	Qwen2.5-1.5B、Gemma 2-2B	RTX 3060、RTX 4060
7B–9B	8 GB	Llama 3.1-8B、Qwen2.5-7B、Gemma 2-9B	RTX 4060 Ti、RTX 3080
14B	12–16 GB	Qwen2.5-14B	RTX 4070 Ti Super、RTX 3090
32B–34B	24 GB	Llama 3.1-32B、Qwen2.5-32B、CodeLlama-34B	RTX 3090、RTX 4090、RTX A5000
70B	48 GB（量化）或 80 GB（全精度）	Llama 3.1-70B、Qwen2.5-72B	2× RTX 3090、RTX A6000、DGX Spark
405B	320 GB+	Llama 3.1-405B	多 GPU 服务器、Mac Studio M5 Ultra 512 GB

你也可以仅使用 CPU（不使用 GPU）运行模型，但推理速度会显著降低——可用于测试和轻量级工作负载，不适用于生产或交互式使用。详细硬件指南请参阅硬件参考和模型适配计算器。

模型选择

开放权重模型有多种规模和专业化方向可供选择：

通用： Llama 3.1（8B、70B、405B）、Qwen2.5（7B、14B、32B、72B）、Mistral 7B
代码： Qwen2.5-Coder（7B、32B）、CodeLlama（7B、13B、34B）、DeepSeek-Coder
推理： DeepSeek-R1、QwQ-32B
视觉： Qwen2.5-VL、Llama 3.2 Vision
小型快速： Gemma 2（2B、9B）、Phi-3（3.8B、14B）、Qwen2.5-1.5B

选择帮助请参阅选择本地模型和按任务选模型。

推理引擎

你需要软件来加载模型并提供服务。主要选项如下：

引擎	优势	最适合
Ollama	最简单的设置，广泛的模型支持	个人使用、快速原型开发
vLLM	高吞吐量，生产级	团队、生产工作负载
llama.cpp	对 CPU 友好，支持量化	低 VRAM 硬件、边缘设备
LM Studio	桌面 GUI，模型浏览器	非技术用户、探索
SGLang	高性能，结构化生成	研究、复杂工作流
Xinference	多模型服务，分布式	多模型部署

详细比较请参阅支持的后端和本地 LLM Playbook 中的各运行时指南。

快速入门：30 分钟内从零到本地 LLM

最快的方式是在有 GPU 的机器上使用 Ollama。

安装 Ollama

Linux

curl -fsSL https://ollama.com/install.sh | sh

macOS

brew install ollama

Windows：从 ollama.com 下载。

拉取模型

7B 模型需要 8 GB VRAM，14B 模型需要 16 GB：

ollama pull qwen2.5:7b

或

ollama pull qwen2.5:14b

验证模型响应

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:7b",
    "messages": [{"role": "user", "content": "Hello, what can you do?"}],
    "max_tokens": 100
  }'

你应该收到一个包含模型输出的 JSON 响应。

通过 API 暴露（可选，用于团队访问）

如果你想让团队或外部应用访问该模型，请安装 Tokios 连接器：

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

你的配对码 TKS-XXXX-XXXX 可从 Tokios dashboard 获取。连接器会创建一个仅出站隧道，这样你的团队就可以使用 API 密钥调用 https://api.tokios.com/v1——无需端口转发、无需 Tailscale、无需更改防火墙设置。完整步骤请参阅团队访问本地模型。

常见使用场景

个人 AI 助手

在你的笔记本电脑或台式机上运行模型，享受私密、无限制的使用。没有 API 费用，没有速率限制，没有数据离开你的机器。可用于写作、头脑风暴、编码、研究，或任何你会使用 ChatGPT 但希望完全保护隐私的任务。

团队访问共享模型

在共享服务器（家庭实验室 GPU 主机、工作站、DGX Spark）上运行强大的模型，并为团队提供 API 访问。每个团队成员获得自己的 API 密钥，并限定到特定模型。完整设置请参阅团队访问本地模型。

开发和测试

在部署到生产环境之前，针对本地模型测试你的应用。使用相同的 OpenAI 兼容 API 接口，但后端由你控制。开发期间没有 API 费用，测试期间没有速率限制。

微调和自定义模型

使用你自己的数据针对特定领域微调模型。在你的公司代码库、行业术语、团队沟通风格上训练模型。在本地部署微调后的模型，并通过相同的 API 访问。

气隙隔离和受监管环境

在没有互联网访问或有严格数据驻留要求的环境中运行模型。政府、医疗、金融和国防组织通常需要本地推理，因为不允许使用云端 API。

边缘和物联网部署

在边缘设备上运行较小的模型——Raspberry Pi、Jetson、工业控制器——无需云端连接即可进行本地推理。适用于制造业、农业、实地研究和其他远程场景。

挑战和解决方案

硬件限制

问题： 你没有足够的 VRAM 来运行想要的模型。 解决方案：

使用更小的模型（7B 而不是 70B）
量化模型（4-bit 而不是全精度）——请参阅量化指南
使用 llama.cpp 进行 CPU 推理（较慢但可用）
将模型分布到多个 GPU——请参阅模型分片

网络复杂性

问题： 你的团队需要远程访问，但你无法开放入站端口或为每个人配置 Tailscale。 解决方案： 使用 Tokios——连接器通过仅出站隧道拨出，因此不需要入站端口。可在 CGNAT、企业防火墙和 NAT 后面工作。请参阅团队访问本地模型和在 CGNAT 后面提供本地 LLM 服务。

API 兼容性

问题： 你的应用使用 OpenAI SDK，但你想调用本地模型。 解决方案： 大多数本地推理引擎（Ollama、vLLM、llama.cpp、LM Studio）都提供 OpenAI 兼容的 /v1 API。将你的客户端指向 http://127.0.0.1:PORT/v1 即可工作。如果你使用 Tokios，端点是 https://api.tokios.com/v1——相同的接口，远程访问。

团队访问和认证

问题： 你的本地模型没有认证。网络上的任何人都可以调用它。 解决方案： 使用 Tokios 添加按用户的 API 密钥并限定模型范围。每个团队成员获得自己的密钥，你可以撤销一个人的访问权限而不影响其他人。请参阅为本地模型添加 API 密钥。

模型选择困难

问题： 有数百个模型。应该用哪个？ 解决方案： 从 Qwen2.5-7B（通用，8 GB VRAM）或 Qwen2.5-Coder-7B（代码任务，8 GB VRAM）开始。随着你了解需求后再升级到更大的模型。请参阅选择本地模型和按任务选模型。

后续步骤

选择本地模型——如何为你的使用场景选择合适的模型
硬件参考——详细的硬件要求和建议
团队访问本地模型——让团队通过 API 访问你的本地模型
本地 LLM 配置方案——常见设置的复制粘贴配置
支持的后端——Ollama、vLLM、llama.cpp、LM Studio 等

常见问题

本地 LLM 和 ChatGPT 一样好吗？

对于很多任务，是的。Llama 3.1-70B、Qwen2.5-72B 和 DeepSeek-R1 等开放权重模型在许多基准测试中匹配或超过 GPT-4。对于日常聊天、代码生成和推理，精心选择的本地模型能提供相当的质量。差距正在迅速缩小——请参阅什么是评测？了解模型如何比较。

没有 GPU 能运行本地 LLM 吗？

可以，但会很慢。CPU 推理在 llama.cpp 和 Ollama 上可用，但性能比 GPU 推理慢 5–10 倍。可用于测试和轻量级工作负载，不适用于生产或交互式使用。8 GB VRAM 的 GPU 是获得良好体验的实际最低要求。

运行本地 LLM 要花多少钱？

模型本身是免费的（开放权重）。你的成本是硬件（GPU、内存、存储）和电费。配备 RTX 4090 的工作站约 $2,000–$3,000。24/7 推理的电费约 $50–$100/月，取决于你当地的电价。对于高吞吐量使用场景，这比按 token 向云端 API 付费更便宜。

可以用自己的数据微调本地 LLM 吗？

可以。Unsloth、Axolotl 和 LLaMA-Factory 等工具让你在自己的数据上微调开放权重模型。你需要一个有足够 VRAM 的 GPU 来加载模型和训练数据（通常需要 24 GB VRAM 用于 7B 模型，48+ GB 用于 13B 模型）。部署指南请参阅部署你的微调模型。

本地 LLM 和 OpenAI 等 API 有什么区别？

本地 LLM 运行在你的硬件上——你控制模型、数据和基础设施。OpenAI 等 API 运行在他们的服务器上——你通过互联网发送数据，他们运行推理，你按 token 付费。本地提供数据主权、速度和可控性。云端提供便利和无限扩展能力（但有成本）。

我的团队可以远程访问我的本地 LLM 吗？

可以。使用 Tokios 创建从本地模型到 https://api.tokios.com/v1 的仅出站隧道。你的团队使用他们的 API 密钥调用该端点——无需端口转发、无需 Tailscale、无需更改防火墙设置。完整设置请参阅团队访问本地模型。

什么是 locallm？和本地 LLM 有区别吗？

没有区别——“locallm” 只是 “local LLM” 写成一个词。你会在搜索、社区讨论（如 r/LocalLLaMA）和项目名称中看到这两种写法。一些工具和库使用 “locallm” 作为包名（例如 Python locallm 包），但它们都指同一个概念：在你自己的硬件上运行大语言模型，而不是使用云端 API。

本地 LLM 入门

硬件与适配

服务与连接运行时

连接客户端或应用

对比

什么是本地 LLM（locallm）？在本地运行大语言模型的完整指南