Llama 4 로컬 실행: Scout, Maverick과 필요한 하드웨어

​

변형 및 태그

​

”17B 활성”이 여전히 67 GB가 필요한 이유

• Scout: 109B × ~0.5 bytes at Q4-class ≈ 55 GB of weights, ~67 GB as shipped with overhead
• Maverick: 400B × ~0.5 bytes ≈ 200 GB of weights, ~245 GB as shipped

​

하드웨어 적합성

​

실행 — 초급부터 고급까지

ollama run llama4:scout

vllm serve meta-llama/Llama-4-Scout-17B-16E-Instruct \
  --tensor-parallel-size 4 \
  --max-model-len 131072

​

기능

• 멀티모달 입력: Scout과 Maverick은 텍스트와 이미지를 네이티브로 수용합니다; 출력은 텍스트만 가능합니다.
• 컨텍스트: Scout은 10M 토큰 윈도우를, Maverick은 1M을 광고합니다. 이러한 길이에 가깝게 서빙하는 것은 자체적인 KV-캐시 메모리 문제입니다 — 계획 전에 KV 캐시 및 컨텍스트를 참조하세요.
• 언어: Meta의 모델 카드는 영어, 독일어, 프랑스어, 스페인어, 포르투갈어, 힌디어, 베트남어를 포함한 12개의 지원 언어를 나열합니다.
• 추론: 범용 instruction-tuned 모델 — 별도 사고 모드 없음. 단계별 추론 출력은 DeepSeek 또는 gpt-oss를 참조하세요.

​

Tokios로 연결하기

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "llama4-tunnel", "stream": true, "messages": [{"role": "user", "content": "Hello!"}]}'

​

주의사항

• 소비자 GPU 경로 없음. 3.x 라인과 달리, 두 Llama 4 모델 모두 24–48 GB 카드의 VRAM에 맞지 않습니다. llama.cpp 기반 런타임은 전문가를 시스템 RAM으로 오프로드할 수 있지만, 가중치가 GPU를 벗어나면 처리량이 급격히 감소합니다 — Llama 4로 표준화하기 전에 통합 메모리 또는 서버를 예산에 포함하세요.
• 라이선스: Llama 4는 Meta의 Llama 4 Community License를 사용하며 — Apache 또는 MIT가 아닙니다. 허용 사용 정책과 월간 활성 사용자 700 million 이상인 제품에는 별도 Meta 라이선스 요구사항이 있습니다. 상업적 사용 전에 확인하세요.
• 긴 컨텍스트는 메모리 예산이지 무료 기능이 아닙니다. 전체 점유에서 10M 토큰 윈도우는 웨이트 풋프린트를 훨씬 초과하는 KV 캐시가 필요합니다. num_ctx / --max-model-len을 메모리가 실제로 수용할 수 있는 크기로 조정하세요.
• Tokios는 이미지 콘텐츠와 도구 호출 필드를 업스트림 런타임으로 전달합니다 — 런타임이나 양자화가 지원하지 않는 기능을 추가하지 않습니다.

​

FAQ