Exécutez Gemma 4 en local et utilisez-le depuis n'importe où

​

Exécutez-le en local avec Ollama

ollama run gemma4

​

Variantes et tags

​

Quantification et formats

​

Exigences matérielles — Gemma 4 tient-il sur votre GPU ?

​

Exécutez-le — du débutant à l’avancé

ollama run gemma4

vllm serve google/gemma-4-12B-it \
  --max-model-len 262144

python -m sglang.launch_server \
  --model-path google/gemma-4-12B-it \
  --context-length 262144

​

Capacités

• Raisonnement : Gemma 4 prend en charge un mode de réflexion configurable, désactivé par défaut. Activez-le en incluant le token de contrôle <|think|> au début du prompt système (ou enable_thinking=True si vous utilisez l’assistant parse_response de la fiche modèle) ; le modèle produit alors un raisonnement étape par étape avant sa réponse finale.
• Appels d’outils natifs : Oui, sur Gemma 4 — la fiche modèle documente les appels de fonctions natifs pour l’utilisation structurée d’outils et les flux de travail d’agents, en utilisant les rôles standard system/user/assistant.
• Vision : Multimodal — accepte du texte et des images (avec ratio d’aspect et résolution variables) sur toute la famille Gemma 4 ; Gemma 3 (4b et plus) est aussi capable de vision.
• Audio : E2B et E4B uniquement — reconnaissance vocale automatique native (ASR) et speech-to-translated-text, jusqu’à 30 secondes d’audio par requête.
• Contexte long : 131,072 tokens nativement sur E2B/E4B, 262,144 tokens sur 12B, 26B-A4B et 31B.

​

Connectez-le avec Tokios

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

Appelez-le depuis n’importe où

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Summarize this document and list open questions."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model gemma-tunnel

​

Mises en garde

• Le mode de réflexion de Gemma 4 est désactivé par défaut — l’inverse de certaines autres familles de raisonnement. Si vous voulez un raisonnement étape par étape, vous devez l’activer avec le token de contrôle <|think|> ou l’équivalent de votre client.
• L’entrée audio (ASR et traduction vocale) ne fonctionne que sur les tailles E2B et E4B — 12B, 26B-A4B et 31B acceptent uniquement du texte et des images.
• Le MoE 26B-A4B a besoin de tous les 26B paramètres en mémoire même si seulement environ 4B sont actifs par token — dimensionnez votre matériel sur le téléchargement complet, pas le nombre actif.
• La licence diffère par génération : Gemma 4 est Apache 2.0 et sans restriction, tandis que Gemma 3 utilise la licence Gemma personnalisée de Google et ses checkpoints Hugging Face sont à accès restreint (vous acceptez les termes avant de télécharger ; les tags Ollama sont redistribués sous la même licence). La Gemma Prohibited Use Policy de Google s’applique aux deux — consultez les termes de licence avant des déploiements commerciaux ou sensibles.
• Gemma 3 reste utile pour des déploiements très petits et compatibles CPU (270m, 1b) où le plus petit niveau de Gemma 4 (E2B) peut encore être plus lourd que nécessaire.

​

FAQ