在本地运行 Gemma 4 并从任何地方使用

最后验证时间：2026-10-14

Gemma 是 Google DeepMind 的开放权重模型家族。Gemma 4 是当前一代——多模态（文本、图像，以及在最小尺寸上支持音频）、支持 140+ 种语言，并提供从边缘尺寸到桌面 GPU 尺寸的稠密模型和混合专家（MoE）模型。Gemma 3 是上一代，仍然被广泛使用，尤其是在小尺寸端（270m、1b）用于设备端和纯 CPU 工作负载。在本地运行适合你硬件的模型，然后配对 Tokios 连接器，通过 https://api.tokios.com 从任何机器、团队成员或托管代理调用它——无需入站端口，无需 VPN。

使用 Ollama 在本地运行

两个世代都在 Ollama 库中。对于 Gemma 4，拉取并运行默认标签（E4B 边缘模型）：

ollama run gemma4

对于桌面 GPU 级别，运行 ollama run gemma4:12b、ollama run gemma4:26b（MoE）或 ollama run gemma4:31b。对于上一代，ollama run gemma3 运行 4b 默认值——完整标签列表参见 gemma4 和 gemma3 库页面——本页介绍的是连接方式，而非每个运行时细节。

Ollama 的默认上下文窗口很小（2048 个 token）——远低于 Gemma 原生的 128K–256K。在 Modelfile 或客户端请求中调高 num_ctx 以使用更多上下文。

变体和标签

以下所有值均来自模型卡和 Ollama 库。标签和下载大小会随新量化版本的发布而变化——在确定使用某个版本之前，请先查看 ollama.com/library/gemma4 和 ollama.com/library/gemma3 确认。

属性	`E2B`	`E4B`	`12B`	`26B-A4B`（MoE）	`31B`
Ollama 标签	`gemma4:e2b`	`gemma4:e4b`（别名 `:latest`）	`gemma4:12b`	`gemma4:26b`	`gemma4:31b`
下载大小（`Q4_K_M`）	~7.2 GB	~9.6 GB	~7.6 GB	~18 GB	~20 GB
参数	边缘尺寸稠密模型	边缘尺寸稠密模型	12B 稠密模型	26B 总计 / ~4B 活跃（128 个专家，8 个路由 + 1 个共享）	31B 稠密模型（31.3B）
上下文窗口	131,072	131,072	262,144	262,144	262,144
模态	文本 + 图像 + 音频（ASR）	文本 + 图像 + 音频（ASR）	文本 + 图像	文本 + 图像	文本 + 图像
许可	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0
Hugging Face	`google/gemma-4-E2B-it`	`google/gemma-4-E4B-it`	`google/gemma-4-12B-it`	`google/gemma-4-26B-A4B-it`	`google/gemma-4-31B-it`

属性	`270m`	`1b`	`4b`	`12b`	`27b`
Ollama 标签	`gemma3:270m`	`gemma3:1b`	`gemma3:4b`	`gemma3:12b`	`gemma3:27b`
下载大小（`Q4_K_M`）	—（仅 fp16/q8_0）	~1.0 GB（`-it-qat`）	~3.3 GB	~8.1 GB	~17 GB
模态	纯文本	纯文本	文本 + 图像	文本 + 图像	文本 + 图像
许可	Gemma 许可	Gemma 许可	Gemma 许可	Gemma 许可	Gemma 许可

来源：ollama.com/library/gemma4、ollama.com/library/gemma3、google/gemma-4-31B-it、google/gemma-4-26B-A4B-it、google/gemma-4-E4B-it、google/gemma-4-12B-it。

作为混合专家模型，26B-A4B 每个 token 仅有约 4B 活跃参数（路由 8 个专家，共 128 个，加上 1 个共享专家），因此解码速度远快于其 26B 总量所暗示的——但所有 26B 参数仍需装入内存。不要仅根据活跃参数数量来选择 GPU。参见推理的工作原理了解原因。

量化和格式

Ollama 的默认标签是 GGUF Q4_K_M。gemma4 库还为每个尺寸发布了 -it-qat（量化感知训练的 int4）、-q8_0、-bf16、-mlx（Apple Silicon）、-mxfp8 和 -nvfp4（NVIDIA Blackwell）变体。你能运行哪种格式取决于你的硬件——完整矩阵参见量化格式及其所需硬件，什么是量化介绍如何读取 Q4_K_M 风格名称。

QAT（量化感知训练）。 Gemma 4 的 -it-qat 标签是 Google 训练的 int4 检查点，在 4 位精度下仍保持准确，因此比普通的训练后 Q4 量化保持更好的质量——下载大小相当甚至更小：gemma4:12b-it-qat 约为 7.2 GB（而 Q4_K_M 约为 7.6 GB），gemma4:e4b-it-qat 约为 6.1 GB（而后者约为 9.6 GB）。如果你在 4 位精度下运行 Gemma 4，优先选择 -it-qat 标签。工作原理参见量化感知训练。

使用 Apple Silicon？ Gemma 4 的 MLX 构建版本可在 Hugging Face 的 mlx-community 获取。使用 mlx_lm.server 在 Mac Studio、Mac mini 和 MacBook Pro 上实现原生统一内存推理——参见后端参考中的 MLX-LM Server。

硬件需求——Gemma 4 能装入你的 GPU 吗？

在 Q4 左右和适度上下文长度下可舒适运行。将每个条目视为估计值——实际情况取决于 GGUF 实际大小加上你的上下文所需的 KV 缓存。尺寸计算方法参见你的 GPU 能装下多大的模型？。

目标硬件	`E2B`/`E4B` 边缘（~7–10 GB）	`12B` 稠密（~7.6 GB）	`26B-A4B` MoE（~18 GB）	`31B` 稠密（~20 GB）
笔记本 / 纯 CPU，≤16 GB 内存	舒适（`E2B`）	勉强	不适用 `Q4`	不适用 `Q4`
RTX 3090 / 4090（24 GB）	舒适	舒适	舒适	舒适
RTX 5090（32 GB，Blackwell）	舒适；可用 `nvfp4` 标签	舒适；可用 `nvfp4` 标签	舒适；`nvfp4` 风格格式持续改进中	舒适
RTX 6000 Ada / A6000（48 GB）	舒适，支持长上下文	舒适，支持长上下文	舒适，支持长上下文	舒适，支持长上下文
RTX 5080 / 4080（16 GB）	舒适	舒适	勉强——减少上下文	勉强——减少上下文
Apple Silicon（16 GB+ 统一内存）	舒适；可用 `mlx` 标签	舒适；可用 `mlx` 标签	需要 24 GB+ 统一内存	需要 24 GB+ 统一内存

运行方式——从入门到进阶

Ollama（最简单）
LM Studio（GUI）
vLLM（进阶）
SGLang（进阶）

ollama run gemma4

让 Ollama 保持监听默认的 http://127.0.0.1:11434。调高 num_ctx 以使用更多上下文，换用 gemma4:12b、gemma4:26b 或 gemma4:31b 可获得更大级别，或使用 gemma3 切换到上一代。

在 LM Studio 的模型目录中搜索 Gemma 4（或 Gemma 3），下载适合你 VRAM 的 GGUF 量化版本（从 Q4_K_M 开始，或选择 -it-qat 获取更小的 int4 原生下载），然后启动 LM Studio 的本地服务器。它会在 http://127.0.0.1:1234/v1 上提供 OpenAI 兼容的 API。

vllm serve google/gemma-4-12B-it \
  --max-model-len 262144

添加 --tensor-parallel-size <N> 以跨 GPU 分片。换用 google/gemma-4-26B-A4B-it、google/gemma-4-31B-it 或 E2B/E4B 仓库可切换不同级别——服务前请查看模型卡了解当前推荐的 transformers/vllm 版本。

python -m sglang.launch_server \
  --model-path google/gemma-4-12B-it \
  --context-length 262144

添加 --tp-size <N> 以启用张量并行。服务前请查看模型卡了解当前推荐的 transformers/sglang 版本。

功能特性

推理： Gemma 4 支持可配置的思考模式，默认关闭。在系统提示的开头加入 <|think|> 控制令牌来启用它（或使用模型卡的 enable_thinking=True，如果你使用 parse_response 辅助函数）；模型会在最终答案之前逐步输出思考过程。
原生工具调用： 是的，Gemma 4 支持——模型卡记录了用于结构化工具使用和代理工作流的原生函数调用，使用标准的 system/user/assistant 角色。
视觉： 多模态——整个 Gemma 4 家族都支持文本和图像输入（可变宽高比和分辨率）；Gemma 3（4b 及以上）也支持视觉。
音频： 仅 E2B 和 E4B——原生自动语音识别（ASR）和语音翻译，每次请求最多 30 秒音频。
长上下文： 131,072 个 token，原生支持于 E2B/E4B；262,144 个 token，支持于 12B、26B-A4B 和 31B。

通过 Tokios 连接

Gemma 在本地运行后，配对 Tokios 连接器，这样你就可以从 Claude Code、Cline 或任何其他兼容客户端通过 https://api.tokios.com 访问它——而不仅仅是从 localhost:11434 访问。

配对 Tokios 连接器

在 tokios.com/console 登录，打开 Setup 标签页，点击 Start pairing 获取一次性配对码（TKS-XXXX-XXXX）。在运行 Ollama 的机器上安装并运行连接器：

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

然后 approve 该设备，在 Setup 或 Connectors 标签页上操作。

将连接器指向 Ollama 的 /v1 API

Ollama 在 /v1 提供 OpenAI 兼容的接口。对于单模型设置，控制台的 Setup 向导会自动将其填写为 http://127.0.0.1:11434/v1。对于多模型设置，在 tokios-connector.json 中显式设置——参见连接器配置。

注册部署

在 Models 标签页中，注册模型并选择一个公共部署名称，例如 gemma-tunnel。客户端在 model 字段中发送的是这个名称——而不是 Ollama 的本地模型 ID。

创建 API 密钥

在 Keys 标签页中，点击 Create key。立即复制 sk-tok-… 密钥——它只显示一次。

从任何地方调用

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Summarize this document and list open questions."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model gemma-tunnel

请求中的 model 字段始终是你注册的部署名称（上方的 gemma-tunnel），而非 Ollama 的本地模型 ID。完整客户端设置参见使用 Claude Code 和使用 Cline。

注意事项

Gemma 4 的思考模式默认关闭——与某些其他推理模型相反。如果你需要逐步思考，必须使用 <|think|> 控制令牌或客户端的等效方式主动启用。
音频输入（ASR 和语音翻译）仅适用于 E2B 和 E4B 尺寸——12B、26B-A4B 和 31B 仅接受文本和图像。
需要注意的是，26B-A4B MoE 需要将所有 26B 参数装入内存，即使每个 token 仅有约 4B 个活跃参数——请根据完整下载大小而非活跃参数数量来选择硬件。
许可协议因世代而异：Gemma 4 采用 Apache 2.0 许可且无需申请，而 Gemma 3 使用 Google 自定义的 Gemma license，其 Hugging Face 检查点需要申请（下载前需接受条款；Ollama 标签在同一许可下重新分发）。Google 的 Gemma 禁止使用政策适用于两者——在商业或敏感部署前请查看许可条款。
Gemma 3 对于非常小的、适合 CPU 的部署（270m、1b）仍然有用，在这些场景下 Gemma 4 的最小级别（E2B）可能仍然超出你的需求。

新的同级别替代方案。 Meta 的 Muse Glimmer 30B 与 gemma4:31b 处于同一级别——稠密模型、多模态、Apache 2.0 许可、适配单张消费级 GPU。Meta 直接将两者进行基准测试，其数据倾向于 Muse Glimmer，但这些是厂商自行运行的测试，尚无独立复现。Gemma 4 仍然覆盖更广泛的范围，从边缘硬件上的 E2B 到 31B；Muse Glimmer 仅提供一个尺寸。请在你的实际工作负载上测试两者。

常见问题

Gemma 4 需要多少 VRAM？

在 Q4_K_M 下，边缘模型（E2B、E4B）需要约 7–10 GB，12B 稠密模型需要约 7.6 GB，26B-A4B MoE 需要约 18 GB，31B 稠密模型需要约 20 GB。-it-qat int4 原生标签更小——例如 gemma4:12b-it-qat 约为 7.2 GB。BF16 构建版本大得多：仅 31B 就约为 57 GB。还需加上你的上下文长度所需的 KV 缓存。

Gemma 4 能在 24 GB GPU 上运行吗？

可以——在 Q4_K_M 下，每个 Gemma 4 变体都能装入 24 GB 显卡（RTX 3090 / 4090），包括约 20 GB 的 31B 稠密模型和约 18 GB 的 26B-A4B MoE。边缘模型和 12B 为长上下文留出了充足的余量；31B 在非常大的上下文长度下仍然可用但较为紧张。

Gemma 4 是开源的吗？

Gemma 4 采用 Apache 2.0 许可发布且无需申请——无需接受使用政策或注册即可下载。Gemma 3 使用 Google 自定义的 Gemma license，其 Hugging Face 检查点需要申请（下载前需接受条款）。Google 的 Gemma 禁止使用政策适用于两个世代。注意，开放权重和开源不是同一回事——训练数据和流程未公开。

什么是 QAT，它有什么帮助？

QAT（量化感知训练）意味着 Google 从一开始就训练模型在 4 位精度下保持准确，而不是在训练后再应用量化。结果是：-it-qat 标签比普通的训练后 Q4_K_M 量化保持更好的质量，下载大小相当甚至更小——gemma4:12b-it-qat 约为 7.2 GB，而 Q4_K_M 约为 7.6 GB；gemma4:e4b-it-qat 约为 6.1 GB，而后者约为 9.6 GB。如果你在 4 位精度下运行 Gemma 4，优先选择 -it-qat 标签。

应该使用 Gemma 3 还是 Gemma 4？

使用 Gemma 4——它是当前一代，支持多模态输入（所有尺寸支持文本 + 图像，E2B/E4B 支持音频）、Apache 2.0 许可，以及 131K–262K 个 token 的上下文窗口。Gemma 3 对于非常小的、适合 CPU 的部署（270m、1b）仍然有用，在这些场景下 Gemma 4 的最小级别（E2B）仍然超出你的需求，或者如果你特别依赖某个 Gemma 3 标签而没有对应的 Gemma 4 版本。

快速入门

配对连接器并端到端地注册你的第一个模型。

你的 GPU 能装下多大的模型？

在下载前根据可用 VRAM 选择合适的 Gemma。

量化和硬件

Gemma 的哪种格式——GGUF、QAT、MLX、NVFP4——能在你的硬件上运行。

哪个本地模型适合哪个任务？

按任务查看 Gemma 与其他本地模型的对比。

​使用 Ollama 在本地运行

​变体和标签

​量化和格式

​硬件需求——Gemma 4 能装入你的 GPU 吗？

​运行方式——从入门到进阶

​功能特性

​通过 Tokios 连接

​从任何地方调用

​注意事项

​常见问题

快速入门

你的 GPU 能装下多大的模型？

量化和硬件

哪个本地模型适合哪个任务？

使用 Ollama 在本地运行

变体和标签

量化和格式

硬件需求——Gemma 4 能装入你的 GPU 吗？

运行方式——从入门到进阶

功能特性

通过 Tokios 连接

从任何地方调用

注意事项

常见问题