Gemma 4를 로컬에서 실행하고 어디서나 사용하세요

​

Ollama로 로컬에서 실행하세요

ollama run gemma4

​

변형 및 태그

​

양자화 및 형식

​

하드웨어 요구 사항 — Gemma 4가 GPU에 맞을까요?

​

실행하세요 — 초급부터 고급까지

ollama run gemma4

vllm serve google/gemma-4-12B-it \
  --max-model-len 262144

python -m sglang.launch_server \
  --model-path google/gemma-4-12B-it \
  --context-length 262144

​

Capabilities

• Reasoning: Gemma 4 supports a configurable thinking mode, off by default. Enable it by including the <|think|> control token at the start of the system prompt (or enable_thinking=True if you’re using the model card’s parse_response helper); the model then emits step-by-step reasoning before its final answer.
• 네이티브 도구 호출의 경우, Gemma 4에서 지원됩니다. 모델 카드는 표준 system/user/assistant 역할을 사용하여 구조화된 도구 사용과 에이전트 워크플로를 위한 네이티브 함수 호출을 문서화합니다.
• 비전 — 다중 모드로, 전체 Gemma 4 제품군에서 텍스트와 이미지(가변 종횡비 및 해상도)를 지원하며, Gemma 3 (4b 이상)도 비전 기능을 지원합니다.
• Audio E2B 및 E4B만 지원합니다. 기본 제공 자동 음성 인식(ASR) 및 음성을 번역된 텍스트로 변환하는 기능으로, 요청당 최대 30초의 오디오를 처리할 수 있습니다.
• 긴 컨텍스트： 131,072 토큰이 E2B/E4B에서 기본 제공되며, 262,144 토큰은 12B, 26B-A4B, 및 31B에서 지원됩니다.

​

Tokios와 연결하세요.

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

어디서든 호출하세요

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Summarize this document and list open questions."}]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model gemma-tunnel

​

주의사항

• Gemma 4의 추론 모드는 기본적으로 꺼져 있습니다 — 다른 일부 추론 계열과 반대입니다. 단계별 추론을 원한다면 <|think|> 제어 토큰이나 클라이언트의 해당 기능으로 옵트인해야 합니다.
• 오디오 입력(ASR 및 음성 번역)은 E2B 및 E4B 크기에서만 작동합니다 — 12B, 26B-A4B, 31B는 텍스트와 이미지만 허용합니다.
• The 26B-A4B MoE needs all 26B parameters in memory even though only about 4B are active per token — size your hardware off the full download, not the active count.
• Licensing differs by generation: Gemma 4 is Apache 2.0 and ungated, while Gemma 3 uses Google’s custom Gemma license and its Hugging Face checkpoints are gated (you accept the terms before downloading; the Ollama tags are redistributed under the same license). Google’s Gemma Prohibited Use Policy applies to both — check the license terms before commercial or sensitive deployments.
• Gemma 3는 아주 작고 CPU 친화적인 배포(270m, 1b)에 여전히 유용하며, 이러한 배포에서는 Gemma 4의 가장 작은 등급(E2B)이 여전히 필요보다 무거울 수 있습니다.