Gemma 4 lokal ausführen und von überall nutzen

Last verified: 2026-10-14

Gemma ist die Open-Weight-Modellfamilie von Google DeepMind. Gemma 4 ist die aktuelle Generation — multimodal (Text, Bild und bei den kleinsten Größen Audio), mehrsprachig über 140+ Sprachen und verfügbar als sowohl dichte als auch Mixture-of-Experts (MoE)-Modelle von Edge-Größe bis Desktop-GPU-Größe. Gemma 3 ist die Vorgängergeneration und immer noch weit verbreitet, besonders am kleinen Ende (270m, 1b) für On-Device- und CPU-only-Arbeit. Betreiben Sie lokal, was zu Ihrer Hardware passt, und koppeln Sie dann den Tokios-Connector, um es von jeder Maschine, jedem Teammitglied oder jedem gehosteten Agenten über https://api.tokios.com aufzurufen — keine eingehenden Ports, kein VPN.

Lokal mit Ollama ausführen

Beide Generationen sind in der Ollama-Bibliothek. Für Gemma 4, ziehen und betreiben Sie das Standard-Tag (das E4B Edge-Modell):

ollama run gemma4

Für die Desktop-GPU-Stufe, betreiben Sie ollama run gemma4:12b, ollama run gemma4:26b (MoE) oder ollama run gemma4:31b. Für die Vorgängergeneration betreibt ollama run gemma3 das 4b-Standardmodell — siehe die gemma4- und gemma3-Bibliotheksseiten für die vollständigen Tag-Listen — diese Seite behandelt das Verbinden, nicht jedes Runtime-Detail.

Ollamas Standard-Kontextfenster ist klein (2048 Tokens) — weit unter Gemmas nativem 128K–256K. Erhöhen Sie num_ctx in Ihrer Modelfile oder Client-Anfrage, um mehr von seinem Kontext zu nutzen.

Varianten & Tags

Jeder Wert unten stammt aus den Modellkarten und der Ollama-Bibliothek. Tags und Download-Größen ändern sich mit neuen Quantisierungen — bestätigen Sie gegen ollama.com/library/gemma4 und ollama.com/library/gemma3, bevor Sie sich auf eines festlegen.

Property	`E2B`	`E4B`	`12B`	`26B-A4B` (MoE)	`31B`
Ollama tag	`gemma4:e2b`	`gemma4:e4b` (alias `:latest`)	`gemma4:12b`	`gemma4:26b`	`gemma4:31b`
Download size (`Q4_K_M`)	~7.2 GB	~9.6 GB	~7.6 GB	~18 GB	~20 GB
Parameters	Edge-sized dense	Edge-sized dense	12B dense	26B total / ~4B active (128 experts, 8 routed + 1 shared)	31B dense (31.3B)
Context window	131,072	131,072	262,144	262,144	262,144
Modality	Text + image + audio (ASR)	Text + image + audio (ASR)	Text + image	Text + image	Text + image
License	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0
Hugging Face	`google/gemma-4-E2B-it`	`google/gemma-4-E4B-it`	`google/gemma-4-12B-it`	`google/gemma-4-26B-A4B-it`	`google/gemma-4-31B-it`

Property	`270m`	`1b`	`4b`	`12b`	`27b`
Ollama tag	`gemma3:270m`	`gemma3:1b`	`gemma3:4b`	`gemma3:12b`	`gemma3:27b`
Download size (`Q4_K_M`)	— (fp16/q8_0 only)	~1.0 GB (`-it-qat`)	~3.3 GB	~8.1 GB	~17 GB
Modality	Text only	Text only	Text + image	Text + image	Text + image
License	Gemma license	Gemma license	Gemma license	Gemma license	Gemma license

Sources: ollama.com/library/gemma4, ollama.com/library/gemma3, google/gemma-4-31B-it, google/gemma-4-26B-A4B-it, google/gemma-4-E4B-it, google/gemma-4-12B-it.

Der 26B-A4B ist ein Mixture-of-Experts-Modell mit nur etwa 4B aktiven Parametern pro Token (8 von 128 Experten geroutet, plus 1 geteilter Experte), daher decodiert er viel schneller als seine 26B Gesamtgröße vermuten lässt — aber alle 26B Parameter müssen dennoch in den Speicher passen. Dimensionieren Sie Ihre GPU nicht allein nach der aktiven Parameteranzahl. Siehe wie Inferenz funktioniert für den Grund.

Quantisierung & Formate

Ollamas Standard-Tags sind GGUF Q4_K_M. Die gemma4-Bibliothek veröffentlicht auch -it-qat (quantization-aware-trained int4), -q8_0, -bf16, -mlx (Apple Silicon), -mxfp8 und -nvfp4 (NVIDIA Blackwell)-Varianten für jede Größe. Welches Format Sie ausführen können, hängt von Ihrer Hardware ab — siehe Quantisierungsformate und die Hardware, die sie benötigen für die vollständige Matrix und was Quantisierung ist für das Lesen der Q4_K_M-artigen Namen.

QAT (Quantization-Aware Training). Gemma 4s -it-qat-Tags sind int4-Checkpoints, die Google trainiert hat, um bei 4-Bit genau zu bleiben, sodass sie Qualität besser halten als eine einfache Post-Training-Q4-Quantisierung — bei vergleichbarem oder kleinerem Download: gemma4:12b-it-qat ist ~7.2 GB (vs ~7.6 GB für Q4_K_M) und gemma4:e4b-it-qat ist ~6.1 GB (vs ~9.6 GB). Wenn Sie Gemma 4 bei 4-Bit betreiben, bevorzugen Sie das -it-qat-Tag. Siehe Quantization-Aware Training für die Funktionsweise.

Apple Silicon? MLX-Builds von Gemma 4 sind unter mlx-community auf Hugging Face verfügbar. Betreiben Sie sie mit mlx_lm.server für native Unified-Memory-Inferenz auf Mac Studio, Mac mini und MacBook Pro — siehe MLX-LM Server in der Backend-Referenz.

Hardware-Anforderungen — passt Gemma 4 auf Ihre GPU?

Komfortabel bei etwa Q4 für eine bescheidene Kontextlänge. Betrachten Sie jeden Eintrag als Schätzung — die Wahrheit ist die tatsächliche GGUF-Größe plus der KV-Cache für Ihren Kontext. Siehe Welche Modellgröße passt auf Ihre GPU? für die Dimensionierungsmathematik.

Target	`E2B`/`E4B` edge (~7–10 GB)	`12B` dense (~7.6 GB)	`26B-A4B` MoE (~18 GB)	`31B` dense (~20 GB)
Laptop / CPU-only, ≤16 GB RAM	Komfortabel (`E2B`)	Knapp	Passt nicht bei `Q4`	Passt nicht bei `Q4`
RTX 3090 / 4090 (24 GB)	Komfortabel	Komfortabel	Komfortabel	Komfortabel
RTX 5090 (32 GB, Blackwell)	Komfortabel; `nvfp4`-Tag verfügbar	Komfortabel; `nvfp4`-Tag verfügbar	Komfortabel; `nvfp4`-artige Formate verbessern sich	Komfortabel
RTX 6000 Ada / A6000 (48 GB)	Komfortabel, langer Kontext	Komfortabel, langer Kontext	Komfortabel, langer Kontext	Komfortabel, langer Kontext
RTX 5080 / 4080 (16 GB)	Komfortabel	Komfortabel	Knapp — Kontext reduzieren	Knapp — Kontext reduzieren
Apple Silicon (16 GB+ unified)	Komfortabel; `mlx`-Tag verfügbar	Komfortabel; `mlx`-Tag verfügbar	Braucht 24 GB+ unified	Braucht 24 GB+ unified

Ausführen — vom Anfänger bis zum Fortgeschrittenen

Ollama (easiest)
LM Studio (GUI)
vLLM (advanced)
SGLang (advanced)

ollama run gemma4

Belassen Sie Ollama auf dem Standard-http://127.0.0.1:11434. Erhöhen Sie num_ctx, um mehr Kontext zu nutzen, und tauschen Sie zu gemma4:12b, gemma4:26b oder gemma4:31b für eine höhere Stufe, oder gemma3 für die Vorgängergeneration.

Suchen Sie nach Gemma 4 (oder Gemma 3) im LM Studio-Modellkatalog, laden Sie einen GGUF-Quant herunter, der in Ihren VRAM passt (beginnen Sie mit Q4_K_M oder -it-qat für einen kleineren int4-nativen Download), und starten Sie dann den lokalen Server von LM Studio. Er legt eine OpenAI-kompatible API unter http://127.0.0.1:1234/v1 frei.

vllm serve google/gemma-4-12B-it \
  --max-model-len 262144

Fügen Sie --tensor-parallel-size <N> hinzu, um über GPUs zu sharden. Tauschen Sie zu google/gemma-4-26B-A4B-it, google/gemma-4-31B-it oder einem E2B/E4B-Repo für eine andere Stufe — prüfen Sie die Modellkarte für die aktuell empfohlene transformers/vllm-Version vor dem Serving.

python -m sglang.launch_server \
  --model-path google/gemma-4-12B-it \
  --context-length 262144

Fügen Sie --tp-size <N> für Tensor-Parallelität hinzu. Prüfen Sie die Modellkarte für die aktuell empfohlene transformers/sglang-Version vor dem Serving.

Fähigkeiten

Reasoning: Gemma 4 unterstützt einen konfigurierbaren Thinking-Modus, standardmäßig ausgeschaltet. Aktivieren Sie ihn, indem Sie das <|think|>-Control-Token am Anfang des System-Prompts einfügen (oder enable_thinking=True, wenn Sie den parse_response-Helper der Modellkarte verwenden); das Modell gibt dann Schritt-für-Schritt-Überlegungen vor seiner endgültigen Antwort aus.
Natives Tool-Calling: Ja, bei Gemma 4 — die Modellkarte dokumentiert natives Function-Calling für strukturierte Tool-Nutzung und Agenten-Workflows unter Verwendung der Standard-system/user/assistant-Rollen.
Vision: Multimodal — akzeptiert Text und Bilder (mit variablem Seitenverhältnis und Auflösung) über die gesamte Gemma 4-Familie; Gemma 3 (4b und höher) ist ebenfalls Vision-fähig.
Audio: Nur E2B und E4B — native automatische Spracherkennung (ASR) und Speech-to-Translated-Text, bis zu 30 Sekunden Audio pro Anfrage.
Langer Kontext: 131,072 Tokens nativ bei E2B/E4B, 262,144 Tokens bei 12B, 26B-A4B und 31B.

Mit Tokios verbinden

Sobald Gemma lokal läuft, koppeln Sie den Tokios-Connector, damit Sie es als https://api.tokios.com von Claude Code, Cline oder jedem anderen kompatiblen Client aus erreichen können — statt nur von localhost:11434.

Pair the Tokios connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Setup-Tab und klicken Sie auf Start pairing, um einen einmaligen Pairing-Code (TKS-XXXX-XXXX) zu erhalten. Installieren und betreiben Sie den Connector auf der Maschine, die Ollama ausführt:

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Dann approve Sie das Gerät auf dem Setup- oder Connectors-Tab.

Point the connector at Ollama's /v1 API

Ollama legt eine OpenAI-kompatible Oberfläche unter /v1 frei. Bei einem Single-Modell-Setup füllt der Setup-Assistent der Konsole dies automatisch als http://127.0.0.1:11434/v1 aus. Bei mehreren Modellen setzen Sie es explizit in tokios-connector.json — siehe Connector-Konfiguration.

Registrieren Sie im Models-Tab das Modell und wählen Sie einen öffentlichen Deployment-Namen, zum Beispiel gemma-tunnel. Dieser Name — nicht Ollamas lokale Modell-ID — ist es, was Clients im model-Feld senden.

Create an API key

Klicken Sie im Keys-Tab auf Create key. Kopieren Sie den sk-tok-…-Schlüssel jetzt — er wird nur einmal angezeigt.

Von überall aufrufen

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Summarize this document and list open questions."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model gemma-tunnel

Das model-Feld ist immer Ihr registrierter Deployment-Name (gemma-tunnel oben), niemals Ollamas lokale Modell-ID. Siehe Claude Code verwenden und Cline verwenden für die vollständige Client-Einrichtung.

Einschränkungen

Gemma 4s Thinking-Modus ist standardmäßig ausgeschaltet — das Gegenteil einiger anderer Reasoning-Familien. Wenn Sie Schritt-für-Schritt-Reasoning wollen, müssen Sie sich mit dem <|think|>-Control-Token oder dem Äquivalent Ihres Clients entscheiden.
Audio-Input (ASR und Sprachübersetzung) funktioniert nur bei den E2B- und E4B-Größen — 12B, 26B-A4B und 31B akzeptieren nur Text und Bild.
Der 26B-A4B MoE benötigt alle 26B Parameter im Speicher, obwohl nur etwa 4B pro Token aktiv sind — dimensionieren Sie Ihre Hardware nach dem vollständigen Download, nicht der aktiven Anzahl.
Die Lizenzierung unterscheidet sich je nach Generation: Gemma 4 ist Apache 2.0 und ungegated, während Gemma 3 Googles benutzerdefinierte Gemma-Lizenz verwendet und seine Hugging Face-Checkpoints gegated sind (Sie akzeptieren die Bedingungen vor dem Download; die Ollama-Tags werden unter derselben Lizenz weiterverteilt). Googles Gemma Prohibited Use Policy gilt für beide — prüfen Sie die Lizenzbedingungen vor kommerziellen oder sensiblen Deployments.
Gemma 3 bleibt nützlich für sehr kleine, CPU-freundliche Deployments (270m, 1b), wo Gemma 4s kleinste Stufe (E2B) immer noch schwerer sein kann, als Sie benötigen.

Neue Alternative derselben Klasse. Metas Muse Glimmer 30B landet in derselben Stufe wie gemma4:31b — dicht, multimodal, Apache 2.0 und dimensioniert für eine Consumer-GPU. Meta vergleicht sie direkt miteinander und seine Zahlen favorisieren Muse Glimmer, aber sie sind vom Hersteller durchgeführt ohne unabhängige Reproduktion bisher. Gemma 4 deckt immer noch einen viel breiteren Bereich ab, von E2B auf Edge-Hardware bis zu 31B; Muse Glimmer wird in einer Größe ausgeliefert. Testen Sie beide mit Ihrer eigenen Arbeitslast.

FAQ

How much VRAM does Gemma 4 need?

Bei Q4_K_M benötigen die Edge-Modelle (E2B, E4B) ~7–10 GB, das 12B dichte benötigt ~7.6 GB, das 26B-A4B MoE benötigt ~18 GB und das 31B dichte benötigt ~20 GB. Die -it-qat int4-nativen Tags sind noch kleiner — zum Beispiel ist gemma4:12b-it-qat ~7.2 GB. BF16-Builds sind viel größer: das 31B allein ist ~57 GB. Fügen Sie KV-Cache für Ihre Kontextlänge hinzu.

Can Gemma 4 run on a 24 GB GPU?

Ja — jede Gemma 4-Variante passt auf eine 24 GB-Karte (RTX 3090 / 4090) bei Q4_K_M, einschließlich des 31B dichten bei ~20 GB und des 26B-A4B MoE bei ~18 GB. Die Edge-Modelle und 12B lassen viel Headroom für langen Kontext; das 31B ist komfortabel, aber knapper bei sehr großen Kontextlängen.

Is Gemma 4 open source?

Gemma 4 wird unter Apache 2.0 veröffentlicht und ist ungegated — keine Acceptable-Use-Policy oder Anmeldung zum Download. Gemma 3 verwendet Googles benutzerdefinierte Gemma-Lizenz und seine Hugging Face-Checkpoints sind gegated (Sie akzeptieren die Bedingungen vor dem Download). Googles Gemma Prohibited Use Policy gilt für beide Generationen. Beachten Sie, dass offene Gewichte und Open Source nicht dasselbe sind — die Trainingsdaten und Pipeline werden nicht veröffentlicht.

What is QAT and how does it help?

QAT (Quantization-Aware Training) bedeutet, dass Google das Modell von Anfang an trainiert hat, bei 4-Bit genau zu bleiben, statt Quantisierung nach dem Training anzuwenden. Das Ergebnis: -it-qat-Tags halten Qualität besser als eine einfache Post-Training-Q4_K_M-Quantisierung, bei einem vergleichbaren oder kleineren Download — gemma4:12b-it-qat ist ~7.2 GB vs ~7.6 GB für Q4_K_M und gemma4:e4b-it-qat ist ~6.1 GB vs ~9.6 GB. Wenn Sie Gemma 4 bei 4-Bit betreiben, bevorzugen Sie das -it-qat-Tag.

Should I use Gemma 3 or Gemma 4?

Verwenden Sie Gemma 4 — es ist die aktuelle Generation, mit multimodalem Input (Text + Bild über alle Größen, Audio bei E2B/E4B), Apache 2.0-Lizenzierung und Kontextfenstern von 131K–262K Tokens. Gemma 3 bleibt nützlich für sehr kleine, CPU-freundliche Deployments (270m, 1b), wo Gemma 4s kleinste Stufe (E2B) immer noch schwerer ist, als Sie benötigen, oder wenn Sie sich speziell auf einen Gemma 3-Tag verlassen, der kein Gemma 4-Äquivalent hat.

Quickstart

Koppeln Sie einen Connector und registrieren Sie Ihr erstes Modell End-to-End.

What size model fits your GPU?

Passen Sie Gemma Ihrem verfügbaren VRAM an, bevor Sie es ziehen.

Quantization & hardware

Welches der Gemma-Formate — GGUF, QAT, MLX, NVFP4 — läuft auf Ihrer Hardware.

Which local model for which task?

Sehen Sie, wie Gemma im Vergleich zu anderen lokalen Modellen nach Aufgabe abschneidet.

Erste Schritte

Modelle

Konzepte

Referenz

Gemma 4 lokal ausführen und von überall nutzen

Lokal mit Ollama ausführen

Varianten & Tags

Quantisierung & Formate

Hardware-Anforderungen — passt Gemma 4 auf Ihre GPU?

Ausführen — vom Anfänger bis zum Fortgeschrittenen

Fähigkeiten

Mit Tokios verbinden

Von überall aufrufen

Einschränkungen

FAQ

Quickstart

What size model fits your GPU?

Quantization & hardware

Which local model for which task?

​Lokal mit Ollama ausführen

​Varianten & Tags

​Quantisierung & Formate

​Hardware-Anforderungen — passt Gemma 4 auf Ihre GPU?

​Ausführen — vom Anfänger bis zum Fortgeschrittenen

​Fähigkeiten

​Mit Tokios verbinden

​Von überall aufrufen

​Einschränkungen

​FAQ

Quickstart

What size model fits your GPU?

Quantization & hardware

Which local model for which task?

Lokal mit Ollama ausführen

Varianten & Tags

Quantisierung & Formate

Hardware-Anforderungen — passt Gemma 4 auf Ihre GPU?

Ausführen — vom Anfänger bis zum Fortgeschrittenen

Fähigkeiten

Mit Tokios verbinden

Von überall aufrufen

Einschränkungen

FAQ