Führen Sie Gemma 4 lokal aus und nutzen Sie es von überall

Gemma ist die Open-Weight-Modellfamilie von Google DeepMind. Gemma 4 ist die aktuelle Generation — multimodal (Text, Bild und bei den kleinsten Größen auch Audio), mehrsprachig in 140+ Sprachen und sowohl als Dense- als auch als Mixture-of-Experts (MoE)-Modelle verfügbar, von Edge-Größe bis hin zu Desktop-GPU-Größe. Gemma 3 ist die Vorgängergeneration und wird immer noch häufig verwendet, insbesondere im kleinen Bereich (270m, 1b) für On-Device- und CPU-only-Anwendungen. Führen Sie die Variante aus, die zu Ihrer Hardware passt, lokal aus, und koppeln Sie dann den Tokios Connector, um ihn von jeder Maschine, jedem Teammitglied oder jedem gehosteten Agenten über https://api.tokios.com aufzurufen — ohne eingehende Ports, ohne VPN.

Lokal mit Ollama ausführen

Beide Generationen sind in der Ollama-Bibliothek enthalten. Für Gemma 4 ziehen und führen Sie das Standard-Tag aus (das E4B Edge-Modell):

ollama run gemma4

Für die Desktop-GPU-Stufe führen Sie ollama run gemma4:12b, ollama run gemma4:26b (MoE) oder ollama run gemma4:31b aus. Für die Vorgängergeneration führt ollama run gemma3 das 4b Standardmodell aus — siehe die gemma4 und gemma3 Bibliotheksseiten für die vollständigen Tag-Listen — diese Seite behandelt das Verbinden, nicht jedes Laufzeitdetail.

Das Standard-Kontextfenster von Ollama ist klein (2048 Tokens) — weit unter Gemmas nativem 128K–256K. Erhöhen Sie num_ctx in Ihrer Modelfile oder Client-Anfrage, um mehr von seinem Kontext zu nutzen.

Varianten & Tags

Jeder unten aufgeführte Wert stammt aus den Model Cards und der Ollama-Bibliothek. Tags und Download-Größen ändern sich, wenn neue Quantisierungen veröffentlicht werden — bestätigen Sie dies auf ollama.com/library/gemma4 und ollama.com/library/gemma3, bevor Sie sich auf eine Variante festlegen.

Eigenschaft	`E2B`	`E4B`	`12B`	`26B-A4B` (MoE)	`31B`
Ollama-Tag	`gemma4:e2b`	`gemma4:e4b` (Alias `:latest`)	`gemma4:12b`	`gemma4:26b`	`gemma4:31b`
Downloadgröße (`Q4_K_M`)	~7.2 GB	~9.6 GB	~7.6 GB	~18 GB	~20 GB
Parameter	Edge-groß, dicht	Edge-groß, dicht	12B dicht	26B insgesamt / ~4B aktiv (128 Experten, 8 geroutet + 1 gemeinsam)	31B dicht (31.3B)
Kontextfenster	131,072	131,072	262,144	262,144	262,144
Modalität	Text + Bild + Audio (ASR)	Text + Bild + Audio (ASR)	Text + Bild	Text + Bild	Text + Bild
Lizenz	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0
Hugging Face	`google/gemma-4-E2B-it`	`google/gemma-4-E4B-it`	`google/gemma-4-12B-it`	`google/gemma-4-26B-A4B-it`	`google/gemma-4-31B-it`

Eigenschaft	`270m`	`1b`	`4b`	`12b`	`27b`
Ollama-Tag	`gemma3:270m`	`gemma3:1b`	`gemma3:4b`	`gemma3:12b`	`gemma3:27b`
Downloadgröße (`Q4_K_M`)	— (nur fp16/q8_0)	~1.0 GB (`-it-qat`)	~3.3 GB	~8.1 GB	~17 GB
Modalität	Nur Text	Nur Text	Text + Bild	Text + Bild	Text + Bild
Lizenz	Gemma-Lizenz	Gemma-Lizenz	Gemma-Lizenz	Gemma-Lizenz	Gemma-Lizenz

Quellen: ollama.com/library/gemma4, ollama.com/library/gemma3, google/gemma-4-31B-it, google/gemma-4-26B-A4B-it, google/gemma-4-E4B-it, google/gemma-4-12B-it.

Der 26B-A4B ist ein Mixture-of-Experts-Modell mit nur etwa 4B aktiven Parametern pro Token (8 von 128 Experten werden geroutet, plus 1 gemeinsamer Experte), sodass er viel schneller decodiert, als sein 26B Gesamtumfang vermuten lässt — aber alle 26B Parameter müssen dennoch im Speicher Platz finden. Dimensionieren Sie Ihre GPU nicht allein anhand der aktiven Parameteranzahl. Siehe wie Inference funktioniert für die Gründe.

Quantisierung & Formate

Ollamas Standard-Tags sind GGUF Q4_K_M. Die gemma4-Bibliothek veröffentlicht außerdem -it-qat (quantisierungsbewusst trainierte int4), -q8_0, -bf16, -mlx (Apple Silicon), -mxfp8 und -nvfp4 (NVIDIA Blackwell)-Varianten für jede Größe. Welches Format Sie ausführen können, hängt von Ihrer Hardware ab — sehen Sie sich Quantisierungsformate und die dafür benötigte Hardware für die vollständige Matrix an und was Quantisierung ist für die Erklärung der Q4_K_M-Namenskonvention.

QAT (quantisierungsbewusstes Training). Gemma 4’s -it-qat-Tags sind int4-Checkpoints, die Google trainiert hat, um bei 4-Bit genau zu bleiben, sodass sie die Qualität besser halten als eine einfache nachträgliche Q4-Quantisierung — bei vergleichbarem oder kleinerem Download: gemma4:12b-it-qat ist ~7.2 GB (vs. ~7.6 GB für Q4_K_M), und gemma4:e4b-it-qat ist ~6.1 GB (vs. ~9.6 GB). Wenn Sie Gemma 4 bei 4-Bit ausführen, bevorzugen Sie das -it-qat-Tag. Siehe quantisierungsbewusstes Training für die Funktionsweise.

Hardwareanforderungen — passt Gemma 4 auf Ihre GPU?

Komfortabel bei etwa Q4 für eine moderate Kontextlänge. Betrachten Sie jeden Eintrag als Schätzung — die Wahrheit ist die tatsächliche GGUF-Größe plus der KV-Cache für Ihren Kontext. Siehe welche Modellgröße passt auf Ihre GPU? für die Dimensionierungsrechnung.

Ziel	`E2B`/`E4B` Edge (~7–10 GB)	`12B` dicht (~7.6 GB)	`26B-A4B` MoE (~18 GB)	`31B` dicht (~20 GB)
Laptop / Nur-CPU, ≤16 GB RAM	Bequem (`E2B`)	Eng	Passt nicht bei `Q4`	Passt nicht bei `Q4`
RTX 3090 / 4090 (24 GB)	Bequem	Bequem	Bequem	Bequem
RTX 5090 (32 GB, Blackwell)	Bequem; `nvfp4` Tag verfügbar	Komfortabel; `nvfp4`-Tag verfügbar	Komfortabel; `nvfp4`-Stil-Formate verbessern sich	Komfortabel
RTX 6000 Ada / A6000 (48 GB)	Komfortabel, langer Kontext	Komfortabel, langer Kontext	Komfortabel, langer Kontext	Komfortabel, langer Kontext
RTX 5080 / 4080 (16 GB)	Komfortabel	Komfortabel	Eng — Kontext reduzieren	Eng — Kontext reduzieren
Apple Silicon (16 GB+ Unified Memory)	Komfortabel; `mlx` Tag verfügbar	Komfortabel; `mlx` Tag verfügbar	Erfordert 24 GB+ Unified Memory	Erfordert 24 GB+ Unified Memory

Ausführen — für Einsteiger bis Fortgeschrittene

Ollama (am einfachsten)
LM Studio (GUI)
vLLM (fortgeschritten)
SGLang (fortgeschritten)

ollama run gemma4

Lassen Sie Ollama am Standard-http://127.0.0.1:11434 lauschen. Erhöhen Sie num_ctx, um mehr Kontext zu nutzen, und ersetzen Sie durch gemma4:12b, gemma4:26b oder gemma4:31b für eine höhere Stufe, oder durch gemma3 für die vorherige Generation.

Suchen Sie in LM Studios Modellkatalog nach Gemma 4 (oder Gemma 3), laden Sie eine GGUF-Quantisierung herunter, die zu Ihrem VRAM passt (beginnen Sie mit Q4_K_M, oder -it-qat für einen kleineren int4-nativen Download), und starten Sie dann den lokalen Server von LM Studio. Dieser stellt eine OpenAI-kompatible API unter http://127.0.0.1:1234/v1 bereit.

vllm serve google/gemma-4-12B-it \
  --max-model-len 262144

Fügen Sie --tensor-parallel-size <N> hinzu, um auf GPUs zu sharden. Ersetzen Sie durch google/gemma-4-26B-A4B-it, google/gemma-4-31B-it oder ein E2B/E4B-Repo für eine andere Stufe — prüfen Sie vor dem Serving die Model Card für die aktuell empfohlene transformers/vllm-Version.

python -m sglang.launch_server \
  --model-path google/gemma-4-12B-it \
  --context-length 262144

Fügen Sie --tp-size <N> für Tensor-Parallelismus hinzu. Prüfen Sie vor dem Serving die Model Card für die aktuell empfohlene transformers/sglang-Version.

Fähigkeiten

Reasoning: Gemma 4 unterstützt einen konfigurierbaren thinking mode, der standardmäßig deaktiviert ist. Aktivieren Sie ihn, indem Sie das <|think|>-Control-Token am Anfang des System-Prompts einfügen (oder enable_thinking=True, wenn Sie den parse_response-Helper der Model Card verwenden); das Modell gibt dann schrittweise Überlegungen vor der endgültigen Antwort aus.
Native tool-calling: Ja, bei Gemma 4 — die Model Card dokumentiert natives Function-Calling für strukturierte Tool-Nutzung und agentic Workflows unter Verwendung der Standard-system/user/assistant-Rollen.
Vision: Multimodal — akzeptiert Text und Bilder (mit variabler Seitenverhältnis und Auflösung) in der gesamten Gemma 4-Familie; Gemma 3 (4b und höher) ist ebenfalls vision-fähig.
Audio: E2B und E4B nur — native automatische Spracherkennung (ASR) und Speech-to-Translated-Text, bis zu 30 Sekunden Audio pro Anfrage.
Long context: 131,072 Tokens nativ auf E2B/E4B, 262,144 Tokens auf 12B, 26B-A4B und 31B.

Verbinden Sie es mit Tokios

Sobald Gemma lokal läuft, koppeln Sie den Tokios-Connector, damit Sie darauf als https://api.tokios.com von Claude Code, Cline oder jedem anderen kompatiblen Client aus zugreifen können — statt nur von localhost:11434 aus.

Koppeln Sie den Tokios-Connector

Melden Sie sich bei tokios.com/console an, öffnen Sie die Registerkarte Setup und klicken Sie auf Start pairing, um einen einmaligen Claim-Code (TKS-XXXX-XXXX) zu erhalten. Installieren und starten Sie den Connector auf dem Rechner, auf dem Ollama läuft:

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Verknüpfen Sie dann approve das Gerät auf der Registerkarte Setup oder Connectors.

Richten Sie den Connector auf Ollamas /v1 API

Ollama stellt eine OpenAI-kompatible Oberfläche unter /v1 bereit. Bei einer Einzelmodell-Einrichtung füllt der Setup-Assistent der Konsole dies automatisch als http://127.0.0.1:11434/v1 aus. Bei mehreren Modellen legen Sie es explizit in tokios-connector.json fest — siehe Connector config.

Registrieren Sie eine Deployment

Registrieren Sie im Tab Models das Modell und wählen Sie einen öffentlichen Deployment-Namen, zum Beispiel gemma-tunnel. Dieser Name — und nicht die lokale Modell-ID von Ollama — ist es, was Clients im Feld model senden.

Erstellen Sie einen API-Schlüssel

Klicken Sie im Tab Keys auf Create key. Kopieren Sie den sk-tok-…-Schlüssel jetzt — er wird nur einmal angezeigt.

Rufen Sie ihn von überall auf

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Summarize this document and list open questions."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model gemma-tunnel

Das Feld model ist immer Ihr registrierter Deployment-Name (gemma-tunnel oben), niemals die lokale Modell-ID von Ollama. Siehe Use Claude Code und Use Cline für die vollständige Client-Einrichtung.

Einschränkungen

Gemma 4’s Thinking-Modus ist standardmäßig deaktiviert — das Gegenteil einiger anderer Reasoning-Familien. Wenn Sie schrittweise Reasoning wünschen, müssen Sie sich mit dem <|think|>-Control-Token oder dem entsprechenden Äquivalent Ihres Clients entscheiden.
Audioeingabe (ASR und Sprachübersetzung) funktioniert nur bei den E2B- und E4B-Größen — 12B, 26B-A4B und 31B akzeptieren nur Text und Bilder.
Der 26B-A4B-MoE benötigt alle 26B Parameter im Speicher, obwohl nur etwa 4B pro Token aktiv sind — dimensionieren Sie Ihre Hardware basierend auf dem vollständigen Download, nicht auf der aktiven Anzahl.
Die Lizenzierung unterscheidet sich je nach Generation: Gemma 4 ist Apache 2.0 und ungesperrt, während Gemma 3 Googles benutzerdefinierte Gemma-Lizenz verwendet und seine Hugging Face Checkpoints gesperrt sind (Sie akzeptieren die Bedingungen vor dem Download; die Ollama-Tags werden unter derselben Lizenz weiterverteilt). Googles Gemma Prohibited Use Policy gilt für beide — prüfen Sie die Lizenzbedingungen vor kommerziellen oder sensiblen Deployments.
Gemma 3 bleibt für sehr kleine, CPU-freundliche Deployments (270m, 1b) nützlich, wo Gemma 4’s kleinste Stufe (E2B) möglicherweise immer noch schwerwiegender ist, als Sie benötigen.

Neue Alternative derselben Klasse. Metas Muse Glimmer 30B landet in derselben Stufe wie gemma4:31b — dicht, multimodal, Apache 2.0 und für eine Consumer-GPU dimensioniert. Meta vergleicht sie direkt miteinander, und seine Zahlen favorisieren Muse Glimmer, aber sie sind herstellergeführt und noch nicht unabhängig reproduziert. Gemma 4 deckt immer noch einen viel breiteren Bereich ab, von E2B auf Edge-Hardware bis hin zu 31B; Muse Glimmer wird in einer Größe ausgeliefert. Testen Sie beide mit Ihrer eigenen Arbeitslast.

Schnellstart

Paaren Sie einen Connector und registrieren Sie Ihr erstes Modell von Ende zu Ende.

Welche Modellgröße passt zu Ihrer GPU?

Passen Sie Gemma an Ihren verfügbaren VRAM an, bevor Sie es herunterladen.

Quantisierung & Hardware

Welches der Gemma-Formate — GGUF, QAT, MLX, NVFP4 — läuft auf Ihrer Hardware.

Welches lokale Modell für welche Aufgabe?

Sehen Sie, wie sich Gemma im Vergleich zu anderen lokalen Modellen nach Aufgabe verhält.

Erste Schritte

Modelle

Konzepte

Referenz

Führen Sie Gemma 4 lokal aus und nutzen Sie es von überall

Lokal mit Ollama ausführen

Varianten & Tags

Quantisierung & Formate

Hardwareanforderungen — passt Gemma 4 auf Ihre GPU?

Ausführen — für Einsteiger bis Fortgeschrittene

Fähigkeiten

Verbinden Sie es mit Tokios

Rufen Sie ihn von überall auf

Einschränkungen

Schnellstart

Welche Modellgröße passt zu Ihrer GPU?

Quantisierung & Hardware

Welches lokale Modell für welche Aufgabe?

​Lokal mit Ollama ausführen

​Varianten & Tags

​Quantisierung & Formate

​Hardwareanforderungen — passt Gemma 4 auf Ihre GPU?

​Ausführen — für Einsteiger bis Fortgeschrittene

​Fähigkeiten

​Verbinden Sie es mit Tokios

​Rufen Sie ihn von überall auf

​Einschränkungen

Schnellstart

Welche Modellgröße passt zu Ihrer GPU?

Quantisierung & Hardware

Welches lokale Modell für welche Aufgabe?

Lokal mit Ollama ausführen

Varianten & Tags

Quantisierung & Formate

Hardwareanforderungen — passt Gemma 4 auf Ihre GPU?

Ausführen — für Einsteiger bis Fortgeschrittene

Fähigkeiten

Verbinden Sie es mit Tokios

Rufen Sie ihn von überall auf

Einschränkungen