在任意位置本地运行 GLM 5.2 及整个 GLM 系列

Last verified: 2026-10-14

GLM 是 Z.ai（智谱）推出的开放权重模型系列，专为编程与智能体工作流设计，采用 MIT 许可证发布。该系列覆盖范围广泛：一款小型 9B 模型，可在单张消费级 GPU 上拉取并运行；一款总参数量为 106B 的混合专家模型（GLM-4.5-Air），需要大显存或统一内存设备；GLM-4.6——一款总参数量为 357B 的旗舰级 MoE 模型，具备 200K token 上下文窗口，需要多 GPU 推理服务；以及当前最前沿的 GLM-5.2——一款总参数量为 753B 的 MoE 模型，具备 1M token 上下文窗口，实际上仅适用于云端或多 GPU 服务器，无法在单个工作站上拉取运行。本页面优先介绍实际可在本地运行的模型，随后介绍更大的模型——当您希望使用 Z.ai 最强的模型并选择托管端点或拥有自托管硬件时可以参考。将 Tokios 与您选择的任何模型搭配，通过 https://api.tokios.com 从任意机器、团队成员或托管智能体访问——无需入站端口，无需 VPN。正在寻找 GLM-5.3？该模型于 2026-08-14 通过 Z.ai 的 API 发布，基于与 GLM-5.2 相同的基础模型，权重于 2026-08-27 发布。该页面介绍了其硬件配置和 API 的重大变更；本页面则介绍您今天即可下载运行的 GLM 模型。

已经在本地运行 GLM 模型了？在 Tokios 中注册，即可从任意客户端以 https://api.tokios.com 访问。

使用 Ollama 在本地运行

如需真正的单命令本地拉取，请使用小型经典模型 GLM-4：

ollama run glm4

该命令拉取 glm4:9b（别名为 :latest），即 Z.ai 约 9B 参数的密集型模型——也是唯一能将权重直接安装到您机器上的 GLM 标签。完整标签列表请查阅 Ollama 库页面。

GLM-4.5-Air 和 GLM-5.2 不是 Ollama 本地拉取模型。GLM-5.2 在 Ollama 上仅以 glm-5.2:cloud 形式提供，会将请求路由至 Z.ai 的托管基础设施而非下载权重。要自行运行 GLM-4.5-Air，请使用 GGUF 构建版本配合 llama.cpp 或 LM Studio——见下文。

变体与标签

以下所有数值均来自各模型的 Hugging Face 配置文件和 Ollama 库。标签和下载体积会随新量化版本的发布而变化——在确定使用前请对照链接页面确认。

属性	`GLM-4` (`glm4:9b`)	`GLM-4.5-Air`	`GLM-4.6`	`GLM-5.2`（旗舰）
运行方式	Ollama，一条命令	`GGUF` 通过 llama.cpp/LM Studio，或 vLLM/SGLang	多 GPU vLLM/SGLang，或托管 API	Ollama Cloud（`:cloud`）、托管 API，或在多 GPU 上自托管 vLLM/SGLang
Ollama 标签	`glm4:9b`（别名 `:latest`）	不支持 Ollama 本地拉取	不支持 Ollama 本地拉取	`glm-5.2:cloud`（仅限，不本地拉取权重）
下载体积	5.5 GB（Ollama 默认量化）	约 68–73 GB（`GGUF` `Q4` 级别）	约 178 GB（`Q4` 级别）或约 89 GB（`Q2`）	此规模不以单一下载形式分发——`bf16`/`fp8`
参数量	约 9B 密集型	106B 总计 / 12B 激活（128 个专家，8 个路由 + 1 个共享）	357B 总计 / 32B 激活（160 个专家）	753B 总计 / 8 个激活专家（共 256 个）+ 1 个共享（78 层）
上下文窗口	Ollama 上为 131,072（128K）	原生 131,072	原生 200,000（200K）	原生 1,048,576（1M）
推理能力	—	混合模式：思考模式 + 非思考模式	混合模式：思考模式 + 非思考模式	可调节努力程度的思考模式
模态	文本	文本	文本 + 视觉	文本
许可协议	MIT	MIT	MIT	MIT
Hugging Face	`zai-org/GLM-4-9B-0414`	`zai-org/GLM-4.5-Air`	`zai-org/GLM-4.6`	`zai-org/GLM-5.2`

来源：ollama.com/library/glm4、ollama.com/library/glm-5.2、zai-org/GLM-4.5-Air 模型卡、zai-org/GLM-4.6 模型卡、zai-org/GLM-5.2 模型卡、unsloth/GLM-4.5-Air-GGUF、Z.ai GLM-4.6 博客（截至 2026 年七月）。

GLM-4.5-Air、GLM-4.6 和 GLM-5.2 均为混合专家模型：GLM-4.5-Air 激活 12B（总 106B），GLM-4.6 激活 32B（总 357B），GLM-5.2 激活 8（共 256 个专家）。这使得解码速度相对于其总参数量更快，但所有参数仍需装入内存（或被卸载）——不要仅根据激活参数量来决定硬件配置。原因请参阅推理工作原理。

量化与格式

Ollama 的 glm4:9b 以 GGUF 格式发布。对于 GLM-4.5-Air，unsloth/GLM-4.5-Air-GGUF 提供了完整的量化阶梯——从 Q2_K（约 45 GB）到 Q8_0，以及 Unsloth 的”UD”动态量化（例如 UD-Q4_K_XL 约 68 GB），在相同比宽下以略微增大体积换取更高质量。GLM-4.6 以全精度 safetensors 格式分发，用于多 GPU 服务器端推理（vLLM/SGLang）；Hugging Face 上有社区 GGUF 和 AWQ 量化版本（例如 bullpoint/GLM-4.6-AWQ 约 176 GB），但对于单工作站使用仍然过大。GLM-5.2 目前以全精度 safetensors 格式分发用于服务器端推理（vLLM/SGLang），或作为托管/云端端点访问——目前尚不适合作为 GGUF 下载。完整矩阵请参阅量化格式及其硬件需求，关于量化请参阅什么是量化，其中涉及 Q4_K_M 等名称。

硬件适配

请将每项数据视为估算值——实际依据是 GGUF 文件大小加上您上下文所需的 KV 缓存。尺寸计算方法请参阅多大尺寸的模型适合您的 GPU？。

目标硬件	`GLM-4` `9B`（5.5 GB）	`GLM-4.5-Air`（`Q4` 下约 68–73 GB）	`GLM-4.6`（`Q4` 下约 178 GB）	`GLM-5.2`（前沿）
RTX 3090 / 4090（24 GB）	轻松运行	无法容纳	无法容纳	无法容纳
RTX 5090（32 GB，Blackwell）	轻松运行，支持长上下文	无法容纳	无法容纳	无法容纳
RTX 6000 Ada / A6000（48 GB）	轻松运行	无法容纳于 `Q4`；需大量 CPU 卸载	无法容纳	无法容纳
Apple Silicon（128 GB+ 统一内存）	轻松运行	轻松运行于 `Q4` 级别量化	无法容纳	不实际
AMD Strix Halo（ROCm/Vulkan，≤128 GB）	轻松运行	较紧张于 `Q4` 级别量化	无法容纳	不实际
DGX Spark（128 GB 统一内存）	绰绰有余	轻松运行	无法容纳——需 2+ 台 Spark	无法容纳——377 GB（INT4）需 4 台 Spark；详见可行性详情
多 GPU 服务器/云	绰绰有余	轻松运行	这正是目标配置——2× RTX 5090 或多 GPU 服务器运行 `Q4`	在多个数据中心 GPU 上自托管，或使用托管/云端端点

运行方式——从入门到高阶

Ollama（最简单）
LM Studio（图形界面）
vLLM（高阶）
SGLang（高阶）
Ollama Cloud / 托管（GLM-5.2）

ollama run glm4

让 Ollama 在默认 http://127.0.0.1:11434 监听即可。这是 glm4:9b——如需 GLM-4.5-Air 或 GLM-5.2，请使用下方的其他选项卡。

在 LM Studio 的模型目录中搜索 GLM-4.5-Air（或指向 unsloth/GLM-4.5-Air-GGUF），下载适合您显存或统一内存的量化版本，然后启动 LM Studio 的本地服务器。它会在 http://127.0.0.1:1234/v1 上暴露兼容 OpenAI 的 API。

对于 GLM-4.5-Air，需显式设置 GLM 推理和工具调用解析器：

vllm serve zai-org/GLM-4.5-Air \
  --max-model-len 131072 \
  --reasoning-parser glm45 \
  --enable-auto-tool-choice \
  --tool-call-parser glm45

添加 --tensor-parallel-size <N> 以跨 GPU 分片。对于 GLM-4.6，更换模型 ID 并使用 --tensor-parallel-size 2（或更高）将 357B 权重分片到多个 GPU：

vllm serve zai-org/GLM-4.6 \
  --max-model-len 200000 \
  --tensor-parallel-size 2 \
  --reasoning-parser glm45 \
  --enable-auto-tool-choice \
  --tool-call-parser glm45

对于 GLM-5.2，更换模型 ID 并预计需要多个高显存 GPU 来容纳完整权重。解析器名称来自 vLLM 的推理输出文档和工具调用文档。

python -m sglang.launch_server \
  --model-path zai-org/GLM-4.5-Air \
  --context-length 131072 \
  --reasoning-parser glm45 \
  --tool-call-parser glm45

添加 --tp-size <N> 以启用张量并行。SGLang 为推理和工具调用解析注册了相同的 glm45 检测器。

GLM-5.2 不是本地权重拉取。在安装了 Ollama 的机器上，ollama run glm-5.2:cloud 会将请求路由至 Z.ai 的托管基础设施而非本地运行。将 Tokios 指向您用于 GLM-5.2 的端点，操作方式与指向任何其他兼容 OpenAI 的 API 相同。

功能特性

推理能力： GLM-4.5-Air、GLM-4.6 和 GLM-5.2 均为混合推理模型——思考模式用于复杂推理和工具使用，非思考模式用于即时响应。GLM-5.2 增加了可调节的思考努力级别以在延迟和质量之间取舍。小型 GLM-4（glm4:9b）不具备此混合推理模式。
原生工具调用： 支持，在 GLM-4.5-Air、GLM-4.6 和 GLM-5.2 上可用。在 vLLM/SGLang 上，设置 --tool-call-parser glm45（配合 --reasoning-parser glm45）；Ollama 会在存在本地标签时自动应用模板。
视觉输入： GLM-4.6 同时接受文本和图像作为输入（截至 2026 年七月，参见 Z.ai 博客）。其他 GLM 变体仅支持文本。
编程与智能体任务： 这是该系列的核心定位——Z.ai 为智能体工程构建了 GLM，GLM-5.2 的发布特别强调了长周期编程智能体工作流。
长上下文： glm4:9b 和 GLM-4.5-Air 原生支持 131,072 token（128K）。GLM-4.6 原生支持 200,000 token（200K）。GLM-5.2 原生支持 1,048,576 token（1M），定位于项目级工程上下文和长周期智能体轨迹。

通过 Tokios 连接

GLM 模型运行后——无论是通过 Ollama 本地运行，还是自托管 GLM-4.5-Air/GLM-5.2——配对 Tokios 连接器，即可从 Claude Code、Cline 或任何其他兼容客户端以 https://api.tokios.com 访问，而不仅限于 localhost。

配对 Tokios 连接器

在 tokios.com/console 登录，打开 Setup 标签页，点击 Start pairing 获取一次性配对码（TKS-XXXX-XXXX）。在运行模型的机器上安装并运行连接器：

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

然后 approve 该设备（在 Setup 或 Connectors 标签页上）。

将连接器指向模型的 API

Ollama 在 /v1 处暴露兼容 OpenAI 的接口。对于单模型设置，控制台的 Setup 向导会自动填入 http://127.0.0.1:11434/v1。LM Studio 的本地服务器使用 http://127.0.0.1:1234/v1。对于 vLLM/SGLang 或多模型场景，需在 tokios-connector.json 中显式设置端点——详见连接器配置。

注册部署

在 Models 标签页中注册模型并选择公共部署名称，例如 glm-tunnel。客户端在 model 字段中发送的是此名称——而非 Ollama 的本地模型 ID。

创建 API 密钥

在 Keys 标签页中点击 Create key。请立即复制 sk-tok-… 密钥——它仅显示一次。

从任意位置调用

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Refactor this function and explain your reasoning."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model glm-tunnel

其中 model 字段始终填写您注册的部署名称（上例中的 glm-tunnel），而非 Ollama 的本地模型 ID。完整客户端设置请参阅使用 Claude Code和使用 Cline。

注意事项

GLM-5.2 不是消费级 GPU 模型，也不是单台 DGX Spark 能运行的模型：753B 存储参数的权重下限约 377 GB（INT4）、约 753 GB（FP8），而每台 Spark 仅 128 GB。在 Ollama 上仅有 glm-5.2:cloud（不下载权重），因此自托管意味着多 GPU 服务器或 4 台 Spark 集群。内存配置请参阅 DGX Spark 兼容性指南。更小的配置请使用托管/云端端点。
GLM-4.6 总参数量 357B，无法装入单台 128 GB 机器（DGX Spark、Strix Halo 或 Apple Silicon）。Q4 级别量化下需约 178 GB——请至少配备 2 块高显存 GPU 或多 GPU 服务器。对于 128 GB 硬件，请改用 GLM-4.5-Air。
GLM-4.5-Air 的 GGUF 构建版本即使在 Q4 级别量化下也需要大显存 GPU 或大统一内存机器（Apple Silicon、Strix Halo）——不适合单张 24 GB 消费级显卡。
工具调用和推理解析在 GLM-4.5-Air/GLM-4.6/GLM-5.2 上依赖运行时应用 glm45 解析器。如果使用 vLLM/SGLang 自托管，请显式传递上述参数，否则工具调用和思考输出无法正确分离。
小型 glm4:9b 不具备 GLM-4.5-Air、GLM-4.6 和 GLM-5.2 所拥有的混合思考模式和原生工具调用——请根据所需功能而非仅根据 GPU 适配性选择版本。

常见问题

哪款 GLM 模型适合 24 GB GPU？

GLM-4（glm4:9b）仅 5.5 GB，是唯一适合 24 GB 显卡的 GLM 模型——在 RTX 3090 或 4090 上轻松运行，并有余量支持长上下文。GLM-4.5-Air 约 68–73 GB（Q4）无法容纳，更大的模型也不行。对于 24 GB 硬件，GLM-4 是正确选择。

GLM 是开源的吗？

本页列出的模型——GLM-4、GLM-4.5-Air、GLM-4.6 和 GLM-5.2——均以 MIT 许可证发布。对于更新的 GLM-5.3 系列，请查阅其专属页面——许可条款可能因版本而异。请注意，开放权重与开源并非同一概念——训练数据和训练流程并未公开。

GLM 支持工具调用吗？

支持——GLM-4.5-Air、GLM-4.6 和 GLM-5.2 均支持原生工具调用。在 vLLM 或 SGLang 上，请传递 --tool-call-parser glm45（配合 --reasoning-parser glm45），以确保工具调用和思考输出正确分离。小型 GLM-4（glm4:9b）不具备原生工具调用——请根据所需功能选择版本。

GLM-4、GLM-4.5-Air、GLM-4.6 和 GLM-5.2 有何区别？

GLM-4 是一款 9B 密集型模型，在 Ollama 上一条命令即可拉取——仅文本、128K 上下文、无混合推理。GLM-4.5-Air 是 106B 总参数 MoE（12B 激活），具备混合推理和工具调用，Q4 下需约 68–73 GB。GLM-4.6 是 357B 总参数 MoE（32B 激活），增加了视觉输入和 200K 上下文，需多 GPU 推理服务。GLM-5.2 是前沿的 753B 总参数 MoE，具备 1M token 上下文和可调节思考努力——属于云端或多 GPU 服务器模型，非消费级 GPU 可运行。

快速入门

配对连接器并端到端注册您的第一个模型。

多大尺寸的模型适合您的 GPU？

在拉取之前将 GLM 变体与可用显存进行匹配。

量化与硬件

GLM 的哪些格式——GGUF、safetensors、AWQ——能在您的硬件上运行。

哪种本地模型适合哪种任务？

了解 GLM 在不同任务上与其他本地模型的对比。

DGX Spark 兼容性

GLM-5.2 在 DGX Spark 上的内存配置和集群规划。

GLM-5.3 发布动态

关于下一代 GLM 发布，哪些信息可以证实，哪些只是传闻。

​使用 Ollama 在本地运行

​变体与标签

​量化与格式

​硬件适配

​运行方式——从入门到高阶

​功能特性

​通过 Tokios 连接

​从任意位置调用

​注意事项

​常见问题

快速入门

多大尺寸的模型适合您的 GPU？

量化与硬件

哪种本地模型适合哪种任务？

DGX Spark 兼容性

GLM-5.3 发布动态

使用 Ollama 在本地运行

变体与标签

量化与格式

硬件适配

运行方式——从入门到高阶

功能特性

通过 Tokios 连接

从任意位置调用

注意事项

常见问题