跳转到主要内容
所谓本地 LLM(也称为自托管 LLM),是指在您自己的硬件——笔记本电脑、工作站 GPU、Mac 或家庭实验室服务器——上运行的开放权重模型,而非调用您无法控制的托管 API。本节介绍可在本地良好运行的各开放权重系列以及如何在它们之间做出选择。 Tokios 不负责模型的挑选、托管或微调。您自行选择并在本地运行模型;Tokios 将您正在运行的模型转化为位于 https://api.tokios.com 的稳定且经过身份验证的端点,任何兼容 OpenAI 或 Anthropic 协议的客户端均可直接调用——无需开放入站端口,无需 VPN。

三步挑选法

1

明确使用场景

编程智能体、常规对话、推理、视觉处理,还是边缘/CPU 运算?使用场景能迅速缩小可选系列范围。详情请参阅各类任务对应的本地模型推荐,其中包含按任务分类的详细说明及智能体专用的筛选标准。
2

匹配硬件条件

只有当模型在您所需的上下文长度下能装入您的显存或统一内存时,它才能真正发挥效用。关于尺寸匹配的计算方式,请查阅何种尺寸的模型适合您的 GPU?;关于尺寸与质量之间的权衡,可参考量化相关内容。
3

核查许可协议

各类许可协议差异显著——Apache-2.0 和 MIT 较为宽松;其他协议(Llama Community、Gemma、NVIDIA Open Model License)则附有特定使用条件。在基于某模型进行开发前,请务必查阅如何解读模型说明文档以了解需要关注的要点。

各模型系列及其当前版本

下方的每个系列均有专属页面,包含标签、尺寸信息、硬件适配表格及部署指南。模型版本更新频繁——此表格仅作参考起点,请查阅各系列页面获取最新发布信息。
最后验证时间:2026 年十月。
“当前”指您可以自行下载并运行的最新开放权重版本。部分当前版本仍需多 GPU 硬件支持,包括 DeepSeek-V4.1-Flash、GLM-5.3 以及前沿规模的 Kimi 和 MiniMax MoE 模型。各系列页面会分别说明当前可下载的版本、需要服务器环境的版本以及尚待发布的版本。
需要一款仍可自行托管的当前前沿规模模型?DeepSeek-V4.1-Flash 本地硬件指南对比了 2× RTX PRO 6000、2× DGX Spark 和 2× Strix Halo 三种方案,包括各方案的成熟度与内存限制。

按使用场景选择

常规对话与智能体

Qwen3.6、Llama、Gemma 和 gpt-oss 均为全面的强力选择。Qwen3.8-27B是最新的 Qwen 版本(目前仅支持 vLLM/SGLang);Qwen3.6 是最易验证的部署路径,而 Muse Glimmer是面向智能体的首选,可在 24 GB 显卡上常驻运行。

编程

Qwen3-Coder、Mistral 的 Devstral 和 GLM 面向智能体式、仓库级编程场景。

推理与智能体

如需当前最新的 DeepSeek 推理、编程智能体和工具调用版本,请从 DeepSeek-V4.1-Flash 开始。硬件条件有限时可使用 R1 distills。在工作站硬件上进行前沿规模的智能体编程,Muse Spark Open引领开放权重领域。

视觉与多模态

Qwen3-VL 和 Gemma 4 可处理文本、图像和视频——建议从 Qwen3-VL 开始。MiMo V2.6在全部 3 个变体中增加了原生音频输入。

小型设备、边缘计算与 CPU

Gemma 的 E2B、Phi-4-mini、Granite 和 Mistral 的 Ministral 可在笔记本电脑和边缘设备上运行。

格式与硬件

哪种权重格式——GGUF、MLX、NVFP4、AWQ——能在您的 GPU 或 Mac 上运行。

选定模型之后

Tokios 不会替您选择模型;它为您正在运行的模型提供一个稳定且经过身份验证的端点,供您从任意位置调用。

快速入门

配对连接器、注册部署,并创建您的第一个 API 密钥,完成端到端配置。

选择模型与后端

将模型与您的工作流、后端及部署命名相匹配。