在本地运行 Gemma 4 并从任意位置使用它

Gemma 是 Google DeepMind 的开放权重模型系列。Gemma 4 是当前一代 — 支持多模态（文本、图像，以及在最小尺寸下支持音频），支持 140 多种语言，并提供从边缘设备到桌面 GPU 规模的密集模型和混合专家（MoE）模型。Gemma 3 是上一代，仍然被广泛使用，尤其是在小型端（270m，1b）用于设备端和仅 CPU 的工作负载。在本地运行适合您硬件的版本，然后配对 Tokios 连接器，通过 https://api.tokios.com 从任何机器、团队成员或托管代理调用它 — 无需入站端口，无需 VPN。

使用 Ollama 在本地运行

两个版本都在 Ollama 库中。对于 Gemma 4，拉取并运行默认标签（即 E4B 边缘模型）：

ollama run gemma4

对于桌面 GPU 层级，运行 ollama run gemma4:12b、ollama run gemma4:26b（MoE）或 ollama run gemma4:31b。对于上一代，ollama run gemma3 运行 4b 默认版本 — 有关完整的标签列表，请参阅 gemma4 和 gemma3 库页面 — 本文档重点介绍如何连接它，而非每个运行时细节。

Ollama 的默认上下文窗口较小（2048 令牌）— 远低于 Gemma 原生的 128K–256K。在您的 Modelfile 或客户端请求中提高 num_ctx 以使用更多的上下文。

变体与标签

以下所有值均来自模型卡片和 Ollama 库。标签和下载大小会随新量化的发布而变化 — 在标准化选择之前，请对照 ollama.com/library/gemma4 和 ollama.com/library/gemma3 进行确认。

属性	`E2B`	`E4B`	`12B`	`26B-A4B`（MoE）	`31B`
Ollama 标签	`gemma4:e2b`	`gemma4:e4b`（别名 `:latest`）	`gemma4:12b`	`gemma4:26b`	`gemma4:31b`
下载大小（`Q4_K_M`）	~7.2 GB	~9.6 GB	~7.6 GB	~18 GB	~20 GB
参数	边缘尺寸稠密	边缘尺寸稠密	12B 稠密	26B 总计 / ~4B 活跃（128 专家，8 路由 + 1 共享）	31B 密集（31.3B）
上下文窗口	131,072	131,072	262,144	262,144	262,144
模态	文本 + 图像 + 音频（ASR）	文本 + 图像 + 音频（ASR）	文本 + 图像	文本 + 图像	文本 + 图像
许可证	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0
Hugging Face	`google/gemma-4-E2B-it`	`google/gemma-4-E4B-it`	`google/gemma-4-12B-it`	`google/gemma-4-26B-A4B-it`	`google/gemma-4-31B-it`

属性	`270m`	`1b`	`4b`	`12b`	`27b`
Ollama 标签	`gemma3:270m`	`gemma3:1b`	`gemma3:4b`	`gemma3:12b`	`gemma3:27b`
下载大小（`Q4_K_M`）	—（仅适用于 fp16/q8_0）	~1.0 GB（`-it-qat`）	~3.3 GB	~8.1 GB	~17 GB
模态	仅文本	仅文本	文本 + 图像	文本 + 图像	文本 + 图像
许可证	Gemma 许可证	Gemma 许可证	Gemma 许可证	Gemma 许可证	Gemma 许可证

来源：ollama.com/library/gemma4, ollama.com/library/gemma3, google/gemma-4-31B-it, google/gemma-4-26B-A4B-it, google/gemma-4-E4B-it, google/gemma-4-12B-it。

The 26B-A4B is a mixture-of-experts model with only about 4B active parameters per token (8 of 128 experts routed, plus 1 shared expert), so it decodes much faster than its 26B total suggests — but all 26B parameters still have to fit in memory. Don’t size your GPU off the active-parameter count alone. See how inference works for why.

量化与格式

Ollama’s default tags are GGUF Q4_K_M. The gemma4 library also publishes -it-qat (quantization-aware-trained int4), -q8_0, -bf16, -mlx (Apple Silicon), -mxfp8, and -nvfp4 (NVIDIA Blackwell) variants for each size. Which format you can run depends on your hardware — see Quantization formats and the hardware they need for the full matrix, and what quantization is for how to read the Q4_K_M-style names.

QAT (quantization-aware training). Gemma 4’s -it-qat tags are int4 checkpoints Google trained to stay accurate at 4-bit, so they hold quality better than a plain post-training Q4 quant — at a comparable or smaller download: gemma4:12b-it-qat is ~7.2 GB (vs ~7.6 GB for Q4_K_M), and gemma4:e4b-it-qat is ~6.1 GB (vs ~9.6 GB). If you’re running Gemma 4 at 4-bit, prefer the -it-qat tag. See quantization-aware training for how it works.

硬件需求——Gemma 4 是否适合您的 GPU？

在合理的上下文长度下，舒适度约为 Q4。请将每项视为估算值——实际情况是实际 GGUF 大小加上您上下文的 KV 缓存。有关 sizing 计算，请参见多大的模型适合您的 GPU？。

目标	`E2B`/`E4B` 边缘（约 7–10 GB）	`12B` 密集（约 7.6 GB）	`26B-A4B` MoE（约 18 GB）	`31B` 密集（约 20 GB）
笔记本电脑 / 仅 CPU，内存 ≤16 GB	舒适（`E2B`）	紧张	无法适配 `Q4`	无法适配 `Q4`
RTX 3090 / 4090（24 GB）	舒适	舒适	舒适	舒适
RTX 5090（32 GB，Blackwell）	舒适；有 `nvfp4` 标签可用	舒适；提供 `nvfp4` 标签	舒适；`nvfp4` 风格格式正在改进	舒适
RTX 6000 Ada / A6000（48 GB）	舒适，长上下文	舒适，长上下文	舒适，长上下文	舒适，长上下文
RTX 5080 / 4080（16 GB）	舒适	舒适	紧张 — 减少上下文	紧凑 — 减少上下文
Apple Silicon（16 GB+ 统一内存）	舒适；有 `mlx` 标签可用	舒适；有 `mlx` 标签可用	需要 24 GB+ 统一内存	需要 24 GB+ 统一内存

运行它 — 从入门到高级

Ollama（最简单）
LM Studio（图形界面）
vLLM（高级）
SGLang（高级）

ollama run gemma4

让 Ollama 在默认 http://127.0.0.1:11434 上监听。提高 num_ctx 以使用更多上下文，并替换为 gemma4:12b、gemma4:26b 或 gemma4:31b 以获得更高档次，或替换为 gemma3 以使用上一代。

在 LM Studio 的模型目录中搜索 Gemma 4（或 Gemma 3），下载适合你 VRAM 的 GGUF 量化版本（从 Q4_K_M 开始，或选择 -it-qat 以获取更小的 int4 原生下载），然后启动 LM Studio 的本地服务器。它在 http://127.0.0.1:1234/v1 上提供与 OpenAI 兼容的 API。

vllm serve google/gemma-4-12B-it \
  --max-model-len 262144

添加 --tensor-parallel-size <N> 以在 GPU 间分片。替换为 google/gemma-4-26B-A4B-it、google/gemma-4-31B-it 或 E2B/E4B 仓库以切换不同层级 — 在提供服务前，请查看模型卡片以确认当前推荐的 transformers/vllm 版本。

python -m sglang.launch_server \
  --model-path google/gemma-4-12B-it \
  --context-length 262144

添加 --tp-size <N> 以实现张量并行。在提供服务前，请查看模型卡片以确认当前推荐的 transformers/sglang 版本。

功能特性

Reasoning: Gemma 4 supports a configurable thinking mode, off by default. Enable it by including the <|think|> control token at the start of the system prompt (or enable_thinking=True if you’re using the model card’s parse_response helper); the model then emits step-by-step reasoning before its final answer.
原生工具调用： 是，在 Gemma 4 上支持 — 模型卡片记录了用于结构化工具使用和智能体工作流的原生函数调用，使用标准的 system/user/assistant 角色。
视觉： 多模态 — 整个 Gemma 4 系列均接受文本和图像（支持可变宽高比和分辨率）；Gemma 3（4b 及以上版本）也具备视觉能力。
Audio: E2B and E4B only — native automatic speech recognition (ASR) and speech-to-translated-text, up to 30 seconds of audio per request.
Long context: 131,072 tokens natively on E2B/E4B, 262,144 tokens on 12B, 26B-A4B, and 31B.

通过 Tokios 进行连接

Gemma 在本地运行后，配对 Tokios 连接器，以便从 Claude Code、Cline 或任何其他兼容客户端以 https://api.tokios.com 方式访问它 — 而不仅限于从 localhost:11434 访问。

配对 Tokios 连接器

在 tokios.com/console 登录，打开 Setup 选项卡，然后单击 Start pairing 获取一次性领取代码（TKS-XXXX-XXXX）。在运行 Ollama 的机器上安装并运行连接器：

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Then approve the device on the Setup or Connectors tab.

将连接器指向 Ollama 的 /v1 API

Ollama 在 /v1 处提供与 OpenAI 兼容的接口。对于单模型设置，控制台的设置向导会自动将其填写为 http://127.0.0.1:11434/v1。对于多模型，请在 tokios-connector.json 中显式设置 — 参见连接器配置。

注册部署

在 Models 选项卡中，注册模型并选择一个公共部署名称，例如 gemma-tunnel。此名称 — 而非 Ollama 的本地模型 ID — 是客户端在 model 字段中发送的内容。

创建 API 密钥

在 Keys 选项卡中，单击 Create key。立即复制 sk-tok-… 密钥 — 它仅显示一次。

从任意位置调用

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Summarize this document and list open questions."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model gemma-tunnel

The model field is always your registered deployment name (gemma-tunnel above), never Ollama’s local model id. See Use Claude Code and Use Cline for full client setup.

注意事项

Gemma 4 的思维模式 默认关闭 — 与某些其他推理家族相反。如果您希望逐步推理，必须通过 <|think|> 控制令牌或您客户端的等效项进行选择。
音频输入（自动语音识别和语音翻译）仅在 E2B 和 E4B 尺寸上有效 — 12B、26B-A4B 和 31B 仅接受文本和图像。
The 26B-A4B MoE needs all 26B parameters in memory even though only about 4B are active per token — size your hardware off the full download, not the active count.
许可因版本而异：Gemma 4 采用 Apache 2.0 许可且无需审批，而 Gemma 3 使用 Google 的自定义 Gemma license，其 Hugging Face 检查点为 gated（下载前需接受条款；Ollama 标签在相同许可下重新分发）。Google 的 Gemma 禁止使用政策同时适用于两者 — 在商业或敏感部署前，请查阅 license terms。
Gemma 3 对于非常小型且对 CPU 友好的部署（270m、1b）仍然有用，在这些场景中，Gemma 4 的最小版本（E2B）可能仍比您的需求更重。

同级别新替代方案。 Meta 的 Muse Glimmer 30B 与 gemma4:31b 处于同一级别 — 密集、多模态、Apache 2.0 许可，并针对单张消费级 GPU 进行尺寸优化。Meta 直接对它们进行基准测试，其数据偏向 Muse Glimmer，但这些测试由厂商运行，尚无独立复现结果。Gemma 4 仍覆盖更广泛的范围，从边缘硬件上的 E2B 到 31B；而 Muse Glimmer 仅提供单一尺寸。请在您的实际工作负载中测试两者。

快速入门

配对连接器并注册您的第一个端到端模型。

哪种尺寸的模型适合您的 GPU？

在拉取模型前，请根据可用显存匹配 Gemma 版本。

量化与硬件

Gemma 的哪些格式 — GGUF、QAT、MLX、NVFP4 — 能在您的硬件上运行。

哪种本地模型适用于哪种任务？

按任务查看 Gemma 与其他本地模型的对比。

入门

模型

概念

参考

在本地运行 Gemma 4 并从任意位置使用它

使用 Ollama 在本地运行

变体与标签

量化与格式

硬件需求——Gemma 4 是否适合您的 GPU？

运行它 — 从入门到高级

功能特性

通过 Tokios 进行连接

从任意位置调用

注意事项

快速入门

哪种尺寸的模型适合您的 GPU？

量化与硬件

哪种本地模型适用于哪种任务？

​使用 Ollama 在本地运行

​变体与标签

​量化与格式

​硬件需求——Gemma 4 是否适合您的 GPU？

​运行它 — 从入门到高级

​功能特性

​通过 Tokios 进行连接

​从任意位置调用

​注意事项

快速入门

哪种尺寸的模型适合您的 GPU？

量化与硬件

哪种本地模型适用于哪种任务？

使用 Ollama 在本地运行

变体与标签

量化与格式

硬件需求——Gemma 4 是否适合您的 GPU？

运行它 — 从入门到高级

功能特性

通过 Tokios 进行连接

从任意位置调用

注意事项