Run Gemma 4 locally and use it from anywhere

Gemma is Google DeepMind’s open-weight model family. Gemma 4 is the current generation — multimodal (text, image, and on the smallest sizes, audio), multilingual across 140+ languages, and available as both dense and mixture-of-experts (MoE) models from edge-sized to desktop-GPU-sized. Gemma 3 is the prior generation and still widely used, especially at the small end (270m, 1b) for on-device and CPU-only work. Run whichever fits your hardware locally, then pair the Tokios connector to call it from any machine, teammate, or hosted agent through https://api.tokios.com — no inbound ports, no VPN.

Run it locally with Ollama

Both generations are in the Ollama library. For Gemma 4, pull and run the default tag (the E4B edge model):

ollama run gemma4

For the desktop-GPU tier, run ollama run gemma4:12b, ollama run gemma4:26b (MoE), or ollama run gemma4:31b. For the prior generation, ollama run gemma3 runs the 4b default — see the gemma4 and gemma3 library pages for the full tag lists — this page covers connecting it, not every runtime detail.

Ollama’s default context window is small (2048 tokens) — far below Gemma’s native 128K–256K. Raise num_ctx in your Modelfile or client request to use more of its context.

Variants & tags

Every value below is from the model cards and the Ollama library. Tags and download sizes change as new quantizations ship — confirm against ollama.com/library/gemma4 and ollama.com/library/gemma3 before you standardize on one.

Property	`E2B`	`E4B`	`12B`	`26B-A4B` (MoE)	`31B`
Ollama tag	`gemma4:e2b`	`gemma4:e4b` (alias `:latest`)	`gemma4:12b`	`gemma4:26b`	`gemma4:31b`
Download size (`Q4_K_M`)	~7.2 GB	~9.6 GB	~7.6 GB	~18 GB	~20 GB
Parameters	Edge-sized dense	Edge-sized dense	12B dense	26B total / ~4B active (128 experts, 8 routed + 1 shared)	31B dense (31.3B)
Context window	131,072	131,072	262,144	262,144	262,144
Modality	Text + image + audio (ASR)	Text + image + audio (ASR)	Text + image	Texte et image	Texte et image
Licence	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0	Apache-2.0
Hugging Face	`google/gemma-4-E2B-it`	`google/gemma-4-E4B-it`	`google/gemma-4-12B-it`	`google/gemma-4-26B-A4B-it`	`google/gemma-4-31B-it`

Propriété	`270m`	`1b`	`4b`	`12b`	`27b`
Étiquette Ollama	`gemma3:270m`	`gemma3:1b`	`gemma3:4b`	`gemma3:12b`	`gemma3:27b`
Taille du téléchargement (`Q4_K_M`)	— (uniquement pour fp16/q8_0)	~1.0 Go (`-it-qat`)	~3.3 Go	~8.1 Go	~17 Go
Modalité	Texte uniquement	Texte uniquement	Texte et image	Texte et image	Texte et image
Licence	Licence de Gemma	Licence Gemma	Licence de Gemma	Licence de Gemma	Licence de Gemma

Sources : ollama.com/library/gemma4, ollama.com/library/gemma3, google/gemma-4-31B-it, google/gemma-4-26B-A4B-it, google/gemma-4-E4B-it, google/gemma-4-12B-it.

Le 26B-A4B est un modèle à mélange d’experts qui n’utilise qu’environ 4B paramètres actifs par jeton (8 sur les 128 experts sont sélectionnés, plus un expert partagé 1), ce qui lui permet de décoder bien plus rapidement que ce que son nombre total de paramètres 26B laisserait supposer. Toutefois, l’ensemble des paramètres 26B doivent tout de même tenir en mémoire. Il ne faut donc pas déterminer la taille requise de la carte graphique uniquement d’après le nombre de paramètres actifs. Consultez le fonctionnement de l’inférence pour en comprendre la raison.

Quantification et formats

Ollama’s default tags are GGUF Q4_K_M. The gemma4 library also publishes -it-qat (quantization-aware-trained int4), -q8_0, -bf16, -mlx (Apple Silicon), -mxfp8, and -nvfp4 (NVIDIA Blackwell) variants for each size. Which format you can run depends on your hardware — see Quantization formats and the hardware they need for the full matrix, and what quantization is for how to read the Q4_K_M-style names.

QAT (quantization-aware training). Gemma 4’s -it-qat tags are int4 checkpoints Google trained to stay accurate at 4-bit, so they hold quality better than a plain post-training Q4 quant — at a comparable or smaller download: gemma4:12b-it-qat is ~7.2 GB (vs ~7.6 GB for Q4_K_M), and gemma4:e4b-it-qat is ~6.1 GB (vs ~9.6 GB). If you’re running Gemma 4 at 4-bit, prefer the -it-qat tag. See quantization-aware training for how it works.

Exigences matérielles — le Gemma 4 est-il compatible avec votre GPU ?

Le confort d’utilisation se situe à peu près à Q4 pour une longueur de contexte modérée. Considérez chaque valeur comme une estimation ; la valeur réelle correspond à la taille effective de GGUF augmentée de la mémoire cache KV nécessaire à votre contexte. Consultez quel modèle de taille convient à votre GPU ? pour les calculs de dimensionnement.

Cible	`E2B`/`E4B` edge (~7–10 GB)	`12B` dense (~7.6 Go)	`26B-A4B` MoE (~18 Go)	`31B` dense (~20 Go)
Ordinateur portable / CPU uniquement, ≤16 Go de mémoire vive	Confortable (`E2B`)	Étroit	Ne rentrera pas à `Q4`	Ne rentre pas à `Q4`
RTX 3090 / 4090 (24 Go)	Confortable	Confortable	Confortable	Confortable
RTX 5090 (32 Go, Blackwell)	Confortable ; le tag `nvfp4` est disponible	Confortable ; le tag `nvfp4` est disponible	Agréable ; les formats de type `nvfp4` s’améliorent progressivement	Confortable
RTX 6000 Ada / A6000 (48 Go)	Confortable et doté d’un contexte étendu	Confortable et doté d’un contexte étendu	Confortable et doté d’un contexte étendu	Confortable et doté d’un contexte étendu
RTX 5080 / 4080 (16 Go)	Confortable	Confortable	Strict — limiter le contexte	Strict — réduisez le contexte
Silicon d’Apple (16 Go+ mémoire unifiée)	Confortable ; l’étiquette `mlx` est disponible	Confortable ; l’étiquette `mlx` est disponible	Il faut disposer de plus de 24 Go d’espace unifié	Il faut disposer de plus de 24 Go de mémoire unifiée

Exécutez-le — pour les débutants comme pour les utilisateurs avancés

Ollama (la méthode la plus simple)
LM Studio (interface graphique)
vLLM (avancé)
SGLang (avancé)

ollama run gemma4

Laissez Ollama en écoute sur l’http://127.0.0.1:11434 par défaut. Augmentez la valeur de num_ctx pour disposer d’un contexte plus vaste, puis sélectionnez gemma4:12b, gemma4:26b ou gemma4:31b pour accéder à un niveau supérieur, ou bien gemma3 pour la génération précédente.

Recherchez Gemma 4 (ou Gemma 3) dans le catalogue de modèles de LM Studio, téléchargez un fichier quant GGUF adapté à votre quantité de mémoire vidéo (commencez par Q4_K_M, ou choisissez -it-qat pour un téléchargement int4 natif plus léger), puis lancez le serveur local de LM Studio. Celui-ci met à disposition une clé API compatible OpenAI sur l’adresse http://127.0.0.1:1234/v1.

vllm serve google/gemma-4-12B-it \
  --max-model-len 262144

Ajoutez --tensor-parallel-size <N> afin de le distribuer sur plusieurs GPU. Vous pouvez également utiliser google/gemma-4-26B-A4B-it, google/gemma-4-31B-it ou un dépôt E2B/E4B pour accéder à un autre niveau de modèle ; veillez à consulter la fiche du modèle afin de connaître la version transformers/vllm recommandée actuellement avant de procéder au déploiement.

python -m sglang.launch_server \
  --model-path google/gemma-4-12B-it \
  --context-length 262144

Ajoutez --tp-size <N> pour le parallélisme tensoriel. Consultez la fiche du modèle afin de connaître les versions transformers/sglang recommandées actuellement avant d’effectuer le déploiement.

Capacités

Raisonnement : Gemma 4 propose un mode de raisonnement paramétrable, désactivé par défaut. Pour l’activer, il suffit d’ajouter le token de contrôle <|think|> au début du prompt système (ou enable_thinking=True si vous utilisez l’outil d’assistance parse_response fourni dans la fiche du modèle) ; le modèle produira alors un raisonnement détaillé avant de donner sa réponse finale.
Appel de fonctions natif : Oui, sur Gemma 4 — la fiche du modèle décrit la capacité d’appel de fonctions native pour une utilisation structurée des connecteurs ainsi que pour les flux de travail d’agents, en recourant aux rôles standard system/user/assistant.
Vision : Multimodal — accepte le texte ainsi que les images (avec des ratios d’aspect et des résolutions variables) pour l’ensemble de la famille Gemma 4 ; Gemma 3 (4b et versions ultérieures) dispose également de capacités visuelles.
Audio: E2B and E4B only — native automatic speech recognition (ASR) and speech-to-translated-text, up to 30 seconds of audio per request.
Contexte étendu : 131,072 jetons peuvent être traités nativement sur E2B/E4B, tandis que 262,144 jetons sont pris en charge sur 12B, 26B-A4B et 31B.

Connectez-le à Tokios

Une fois que Gemma fonctionne en local, associez le connecteur Tokios afin de pouvoir y accéder via https://api.tokios.com depuis Claude Code, Cline ou tout autre client compatible, et non uniquement depuis localhost:11434.

Associez le connecteur Tokios

Connectez-vous à tokios.com/console, ouvrez l’onglet Setup puis cliquez sur Start pairing afin d’obtenir un code d’activation unique (TKS-XXXX-XXXX). Installez et exécutez ensuite le connecteur sur l’ordinateur sur lequel Ollama est en cours d’exécution :

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Ensuite, sélectionnez approve l’appareil dans l’onglet Setup ou Connectors.

Orientez le connecteur vers l’API /v1 d’Ollama.

Ollama propose une interface compatible OpenAI à l’adresse /v1. Dans un environnement doté d’un seul modèle, l’assistant de configuration de la console renseigne automatiquement cette valeur sous la forme http://127.0.0.1:11434/v1. Lorsqu’il y a plusieurs modèles, il convient de la définir manuellement dans tokios-connector.json — consultez Configuration du connecteur.

Enregistrer un déploiement

Dans l’onglet Models, enregistrez le modèle et sélectionnez un nom de déploiement public, par exemple gemma-tunnel. Ce nom — et non l’ID de modèle amont de Ollama — est celui que les clients transmettent dans le champ model.

Créez une clé API

Dans l’onglet Keys, cliquez sur Create key. Copiez immédiatement la clé API sk-tok-… car elle ne s’affiche qu’une seule fois.

Appelez cette fonction depuis n’importe quel endroit

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Summarize this document and list open questions."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model gemma-tunnel

Le champ model indique toujours le nom de votre déploiement enregistré (gemma-tunnel ci-dessus), et non l’ID de modèle amont local fourni par Ollama. Consultez Utiliser Claude Code et Utiliser Cline pour obtenir des instructions complètes concernant la configuration des clients.

Mises en garde

Le mode de raisonnement de Gemma 4 est désactivé par défaut, contrairement à d’autres familles de modèles de raisonnement. Si vous souhaitez obtenir un raisonnement étape par étape, vous devez l’activer manuellement via le jeton de contrôle <|think|> ou son équivalent dans votre client.
La saisie audio (pour la reconnaissance vocale et la traduction orale) n’est prise en charge que sur les tailles E2B et E4B. Les tailles 12B, 26B-A4B et 31B ne gèrent que le texte et les images.
Le 26B-A4B MoE exige que tous les 26B paramètres soient présents en mémoire, même si seuls environ 4B sont actifs par jeton ; il convient donc de dimensionner le matériel en fonction du volume total à télécharger et non du nombre de paramètres actifs.
Licensing differs by generation: Gemma 4 is Apache 2.0 and ungated, while Gemma 3 uses Google’s custom Gemma license and its Hugging Face checkpoints are gated (you accept the terms before downloading; the Ollama tags are redistributed under the same license). Google’s Gemma Prohibited Use Policy applies to both — check the license terms before commercial or sensitive deployments.
Gemma 3 demeure utile pour des déploiements très modestes et compatibles avec les processeurs (270m, 1b), dans lesquels le niveau le plus petit de Gemma 4 (E2B) pourrait néanmoins s’avérer trop lourd pour vos besoins.

Nouvelle alternative de même catégorie. Le Muse Glimmer 30B de Meta se situe dans la même gamme que gemma4:31b : dense, multimodal, sous licence Apache 2.0, et conçu pour fonctionner sur une seule carte graphique grand public. Meta a effectué des tests comparatifs entre ces deux modèles, et les résultats favorisent Muse Glimmer ; toutefois ces tests ont été menés par le fabricant sans vérification indépendante à ce jour. Gemma 4 propose quant à lui une gamme bien plus étendue, allant de E2B sur du matériel embarqué jusqu’à 31B ; Muse Glimmer n’est disponible qu’en une seule version. Testez donc les deux sur vos propres charges de travail.

Démarrage rapide

Associez un connecteur et enregistrez votre premier modèle dans un processus complet.

Quelle taille de modèle convient à votre GPU ?

Associez Gemma à la quantité de VRAM dont vous disposez avant de le télécharger.

Quantification et matériel

Parmi les formats de Gemma — GGUF, QAT, MLX, NVFP4 — lequel est compatible avec votre matériel ?

Quel modèle local convient pour quelle tâche ?

Découvrez comment Gemma se compare aux autres modèles locaux selon les tâches.

Premiers pas

Modèles

Concepts

Référence

Run Gemma 4 locally and use it from anywhere

Run it locally with Ollama

Variants & tags

Quantification et formats

Exigences matérielles — le Gemma 4 est-il compatible avec votre GPU ?

Exécutez-le — pour les débutants comme pour les utilisateurs avancés

Capacités

Connectez-le à Tokios

Appelez cette fonction depuis n’importe quel endroit

Mises en garde

Démarrage rapide

Quelle taille de modèle convient à votre GPU ?

Quantification et matériel

Quel modèle local convient pour quelle tâche ?

​Run it locally with Ollama

​Variants & tags

​Quantification et formats

​Exigences matérielles — le Gemma 4 est-il compatible avec votre GPU ?

​Exécutez-le — pour les débutants comme pour les utilisateurs avancés

​Capacités

​Connectez-le à Tokios

​Appelez cette fonction depuis n’importe quel endroit

​Mises en garde

Démarrage rapide

Quelle taille de modèle convient à votre GPU ?

Quantification et matériel

Quel modèle local convient pour quelle tâche ?

Run it locally with Ollama

Variants & tags

Quantification et formats

Exigences matérielles — le Gemma 4 est-il compatible avec votre GPU ?

Exécutez-le — pour les débutants comme pour les utilisateurs avancés

Capacités

Connectez-le à Tokios

Appelez cette fonction depuis n’importe quel endroit

Mises en garde