Skip to main content
A local LLM (also called a self-hosted LLM) is an open-weight model you run on your own hardware — a laptop, a workstation GPU, a Mac, or a homelab server — instead of calling a hosted API you don’t control. This section covers the open-weight families that run well locally and how to pick between them. Tokios 并不负责模型的挑选、部署或微调操作。您自行选定并运行模型后,Tokios 会将其转化为位于 https://api.tokios.com 的稳定且经过身份验证的访问端点,任何兼容 OpenAI 或 Anthropic 协议的客户端均可直接调用,全程无需开放入站端口或配置 VPN。

三步挑选法

1

明确使用场景

您是需要编程助手、常规对话、逻辑推理、图像处理,还是面向边缘设备或 CPU 的运算呢?使用场景能迅速缩小可选模型范围。详情请参阅各类任务对应的本地模型推荐,其中还包含了针对各类智能体任务的筛选标准。
2

匹配硬件条件

只有当模型所需显存或统一内存容量符合您硬件的实际承载能力时,它才能真正发挥效用。关于模型尺寸与硬件的匹配计算方式,请查阅何种尺寸的模型适合您的显卡?;若想了解尺寸与模型质量之间的权衡关系,可参考量化技术相关内容。
3

核查许可协议

各类模型的许可协议差异显著:Apache-2.0与 MIT 协议较为宽松;而 Llama Community、Gemma、NVIDIA Open Model License 等协议则设有特定使用限制。在着手基于某模型开发前,请务必查阅如何解读模型说明文档以明确相关条款。

各模型系列及其当前版本情况

下方的每个系列均有专属页面,其中包含标签、尺寸信息、硬件兼容性表格以及部署指南。由于模型版本更新频繁,此表格仅作参考;请查阅各系列页面以获取最新发布信息。
“当前版本”指的是最新发布的、可供用户自行下载并运行的开放权重模型。部分当前版本模型仍需要多显卡硬件支持,例如 DeepSeek-V4-Flash-0731、GLM-5.2 以及规模庞大的 Kimi 和 MiniMax MoE 模型。各模型系列页面会分别说明当前可下载的版本、需要服务器环境才能运行的版本以及尚未发布的版本。
需要一款目前仍可自行部署的大规模模型吗?DeepSeek-V4-Flash-0731 本地部署硬件指南详细对比了使用 2 块 RTX PRO 6000 显卡、2 块 DGX Spark 显卡以及 2 块 Strix Halo 显卡时的部署方案,同时涵盖了各方案的兼容性成熟度与内存限制情况。

请根据自身需求进行选择

常规对话与智能体应用

Qwen3.6、Llama、Gemma 以及 gpt-oss 均为综合性能出色的模型。Qwen3.8-27B则是最新的 Qwen 版本(目前仅支持 vLLM/SGLang 框架);Qwen3.6 是经过验证且最易部署的方案,而 Muse Glimmer则是专为智能体设计的选择,可顺利运行在 24 GB 显存的显卡上。

编程相关应用

Qwen3-Coder、Mistral 的 Devstral 以及 GLM 均适用于需要跨多个代码库协同工作的编程场景。

逻辑推理与智能体应用

若需使用当前版本的 DeepSeek 逻辑推理、编程智能体及工具调用功能,可先选用 DeepSeek-V4-Flash-0731;若硬件条件有限,也可选择 R1 distills 版本。

视觉与多模态应用

Qwen3-VL 与 Gemma 4 均可处理文本、图片及视频内容,建议优先选用 Qwen3-VL 版本。

小型设备、边缘计算及 CPU 部署方案

Gemma的E2B、Phi-4-mini、Granite以及Mistral的Ministral均可在笔记本电脑和边缘计算设备上运行。

格式与硬件

哪种权重格式——GGUF、MLX、NVFP4还是AWQ——能在您的GPU或Mac设备上运行呢?

选定格式之后

Tokios不会替您挑选模型;它仅为您当前运行的模型提供一个稳定且经过身份验证的端点,供您从任意位置调用。

快速入门

依次配置连接器、完成部署注册并生成首个令牌即可。

选择模型与后端

依据您的工作流程、后端环境以及部署命名规则来挑选合适的模型。