인터랙티브 모델 적합성 탐색기 — 하드웨어 또는 모델을 선택하고, 양자화와 컨텍스트를 조정하세요.
작동 원리
위젯은 다음을 사용하여 메모리 요구 사항을 추정합니다.
MoE 모델(예: Qwen3.8-2.4T-A95B 또는 DeepSeek-V3)은 모든 전문가 가중치를 메모리에 로드하므로, 활성 부분 집합만 토큰당 실행되더라도 총 매개변수 수가 메모리 사용량을 결정합니다.
크기 산정 공식
모델 가중치는 매개변수당 고정된 바이트 수를 차지하며, 이 바이트 수는 정확도에 완전히 의존합니다.
원시 가중치 크기는 전체 이야기가 아닙니다. 적당히 짧은 컨텍스트 길이에서 KV 캐시, 활성화 값, 프레임워크 메모리를 위해 대략 20% 오버헤드 (
×1.2)를 추가해야 합니다. 컨텍스트가 길어지면 KV 캐시가 추가로 증가합니다. 이를 통해 작동하는 공식이 됩니다.
~Q4 (4-bit), including the ~1.2 overhead:
참고로, 더 높은 정밀도는 단일 소비자용 카드가 수용할 수 있는 범위를 훨씬 초과하는 동일한 모델을 확장합니다.
70B의 FP16는 약 140 GB이며, 120B의 FP16는 약 230 GB입니다.
Hugging Face measured a similar pattern on a 15B+ model: about 29 GB at bf16, ~15 GB at 8-bit, and ~9.5 GB at 4-bit. See the Hugging Face guide to optimizing LLMs and the llama.cpp quantize README for the underlying numbers — GGUF Q4_K_M uses mixed precision that averages out to about 0.5–0.56 bytes per parameter.
이러한 공식은 가중치 크기를 추정합니다. 실제로 중요한 수치는 실행하려는 정확한 양자화 버전의 Hugging Face에 나열된
GGUF 파일 크기입니다. 여기에 목표 컨텍스트 길이에 대한 KV 캐시를 더해야 합니다. 하드웨어를 결정하기 전에 항상 이를 확인하십시오.GPU VRAM 한눈에 보기
출처: NVIDIA GeForce RTX 50 시리즈, NVIDIA 전문 GPU, 위키백과: GeForce RTX 40 시리즈, 위키백과: GeForce RTX 30 시리즈, AMD Ryzen AI Max, Apple 기술 사양.
전용 GDDR 메모리(위의 NVIDIA 카드)는 빠르고 크기가 고정되어 있어 나중에 용량을 늘릴 수 없습니다. 통합 메모리(Apple Silicon, Strix Halo)는 CPU와 GPU가 하나의 풀을 공유하므로 훨씬 큰 용량을 가질 수 있지만, 전용 카드보다 대역폭이 낮게 작동합니다.
어디에 무엇이 들어가는가
아래 표는 모던한 컨텍스트 길이에 대해~Q4 양자화 시의 편안함을 추정합니다. 모든 항목을 추정치로 간주하고, 확정하기 전에 실제 GGUF 파일 크기 및 KV 캐시를 확인하십시오.
정답은 항상 선택한 양자화 방식에 대한 Hugging Face의
GGUF 파일 크기와 컨텍스트 길이가 요구하는 KV 캐시입니다.
모델을 선택했나요? 연결하세요
One authenticated endpoint at
https://api.tokios.com — no inbound ports, about 5 minutes.통합 메모리가 대형 모델을 로드할 수 있지만 실행 속도가 느린 이유
모델을 로드하는 데에는 가중치를 담을 수 있는 충분한 메모리 용량만 있으면 됩니다. 빠르게 실행하려면 컴퓨트 유닛에 지속적으로 데이터를 공급할 수 있는 충분한 메모리 대역폭이 필요합니다. 단일 스트림 디코딩은 메모리 대역폭 제한이기 때문입니다. 생성되는 각 토큰마다 모델의 가중치(또는 혼합 전문가 모델의 경우 활성 전문가)를 메모리에서 읽어야 합니다. 프리필(프롬프트 처리)은 컴퓨트 제한이므로 동작 방식이 다릅니다. 이것이 두 가지 메모리 유형이 서로 다른 방식으로 트레이드오프되는 이유입니다.- 전용 GDDR(RTX 4090, 5090 및 유사 제품): 대역폭이 높음(대략
1000–1800 GB/s) 하지만 용량은 카드에 의해 고정됩니다. - 통합 메모리(Apple Silicon, Strix Halo): 용량이 훨씬 큼(최대
128 GB) 하지만 대역폭이 낮음(대략256–546 GB/s).
96 GB unified-memory machine can load a 120B model that would never fit on any single consumer GPU. It will still generate tokens more slowly than a dedicated GPU running a model that fits within the GPU’s own VRAM, because it has less bandwidth to move weights through per token.
다른 구성에서 공개된 tok/s 수치에 의존하지 마세요. 하드웨어, 드라이버 버전, 양자화, 컨텍스트 길이 및 배치 크기가 모두 결과를 변화시킵니다. 모델이 실행 중일 때 llama-bench로 자체 배포를 측정하고, 배포를 비교할 수 있는 반복 가능한 방법에 대해서는 배포 벤치마킹을 참조하세요.
다음 단계
Tokios 시작하기
모델이 하드웨어에 적합하면, Tokios는 이를 어디서든 호출할 수 있는 안정적인 API 엔드포인트로 변환합니다.
작업에 적합한 모델을 선택하세요
크기 설정은 적합한 범위를 좁혀 줍니다. 작업 적합성은 처음부터 어떤 패밀리 모델을 로드할지를 좁혀 줍니다.