하드웨어 플랫폼
NVIDIA DGX Spark
대규모 MoE 모델을 위한 상시 작동 추론 서버
Grace Blackwell 칩셋에서 대규모 MoE 모델 24/7을 실행하는 팀들에게 최적입니다.전체 모델 목록은 DGX Spark 모델 호환성 페이지를 참고하시기 바랍니다.
AMD 스트릭스 할로 (Radeon 8060S)
Compact workstation with 128 GB unified memory
ROCm 지원 범위가 제한적입니다. 최상의 성능을 얻으려면
llama.cpp에서 Vulkan 백엔드를 사용하시기 바랍니다.NVIDIA RTX 4090
데스크톱 워크스테이션, 단일 사용자를 위한 고속 추론 환경
소비자용 GPU 중 가장 높은 메모리 대역폭을 자랑합니다. 단일 사용자 환경에서 빠른 추론 처리에 최적화되어 있습니다.높은 처리량을 필요로 하는 서비스 환경에서는 vLLM과, 간편한 설정을 원할 때는 Ollama와 함께 사용하기 좋습니다. RTX 워크스테이션 설정을 참고해 보세요.
NVIDIA RTX A6000
전문가용 워크스테이션, 다중 사용자 서비스용
Double the VRAM of a 4090 at lower peak bandwidth. Fits 70B models on 1 GPU.
Apple Mac Studio (M2 Ultra)
조용한 작동 환경, macOS에서 대형 모델 구동 가능
데스크탑 중에서 가장 큰 통합 메모리를 갖추고 있으며 120B 개의 모델을 조용히 실행할 수 있습니다.LM Studio 또는 Ollama를 Metal 가속 기능과 함께 사용해 보세요. Mac Studio 설정 방법을 참고하시기 바랍니다.
다중 GPU 지원 (2x RTX 4090 / 2x A6000)
Models too large for 1 GPU
Use tensor parallelism across 2 GPUs when 1 GPU is not enough. See 1 vs 2 DGX Sparks for clustering patterns.
일반 소비자용 노트북 (16 GB)
7B 종류의 모델들, 오프라인 AI 활용, 여행용으로 적합
GPU 없이도 어떤 노트북에서든 7B 종류의 모델들을 실행할 수 있습니다. 오프라인 코딩 보조 도구 및 여행용으로 매우 유용합니다.Pair with Ollama or llama.cpp for the simplest local setup, then connect through Tokios to reach the model from your phone or another device.
휴대폰 / 엣지 기기
기기 내 추론으로 개인정보 보호 극대화
소형 모델을 휴대폰에서 직접 실행할 수 있습니다. 네트워크나 클라우드가 필요 없으며 지연 시간도 전혀 발생하지 않습니다.iOS 및 안드로이드 채팅 앱에서 홈 서버 모델에 접속하는 방법은 휴대폰에서 접속하기 항목을 참고하시기 바랍니다.
DeepSeek-V4-Flash-0731은 특별한 경우입니다. 대략 162–167 GB 수준의 가중치 임계값은 앞서 언급된 멀티 GPU 카드 예시들을 초과합니다. 2개의 96 GB RTX PRO 6000 Blackwell 카드를 사용하면 총 VRAM 용량이 충분해지지만, 해당 구성에 대한 커뮤니티 검증이 0731 상태입니다. 하드웨어를 구매하기 전에 2개의 RTX PRO 6000, 2개의 DGX Spark, 그리고 2개의 Strix Halo 경로들을 비교해보세요.간략한 비교
토큰 처리 속도는 7B Q4 추론 시의 대략적인 추정치이며 백엔드, 양자화 방식 및 컨텍스트 길이에 따라 달라집니다. 배포 환경 벤치마크를 통해 사용 중인 환경에서 직접 테스트해보시기 바랍니다.
런타임 호환성
모든 런타임이 모든 플랫폼에서 작동하는 것은 아닙니다. 아래는 현재 각 하드웨어 등급에서 지원되는 런타임 목록입니다.전력 소비량 및 폼 팩터
로컬 추론용 하드웨어는 주머니 속 휴대폰부터 랙에 장착하는 서버까지 다양합니다. 해당 기기가 책상 위나 공용 사무실에 놓이게 된다면 전력 소비량과 소음 수준도 중요한 고려 사항입니다
기기가 공용 공간에서 24/7으로 작동할 경우, 대기 상태에서의 전력 소비를 최소화하고 소음이 적은 냉각 성능을 우선시해야 합니다. Mac Studio와 DGX Spark는 사무실 환경에서 상시 가동하기에 가장 적합한 선택지입니다.
Scaling beyond 1 machine
When 1 box is not enough, you have 3 options:- 두 번째 GPU 추가하기 — 텐서 병렬 처리(TP=2)를 활용해 동일한 기기에 GPU를 추가할 수 있습니다. 이 방식은 2x RTX 4090 또는 2x A6000와도 잘 호환됩니다. 설정 방법은 모델 샤딩 문서를 참고하세요.
- 여러 노드로 클러스터 구성하기 — 예를 들어 네트워크로 연결된 2대의 DGX Spark를 활용하면 무게치, 캐시, 런타임 오버헤드가 총 256GB 미만인 분산형 모델도 구동할 수 있습니다. 각 방식의 장단점은 1 대 2 DGX Spark 문서에서 확인하실 수 있습니다.
- 원격 서버로 오프로드하기 — 전용 GPU 서버에서 모델을 실행한 뒤 Tokios를 통해 모든 클라이언트에서 접속할 수 있습니다. 자세한 내용은 vLLM 원격 접속 및 Ollama 원격 접속 문서를 참고하세요.
어떤 하드웨어를 선택해야 할까요?
Budget under $1,000
Budget under $1,000
Use a consumer laptop with 16 GB RAM running 7B models through Ollama or llama.cpp. If you have a desktop with a PCIe slot, a used RTX 3090 (24 GB) offers strong value at $700-900 and fits 30B models at Q4.
단일 GPU 중 가장 가성비가 뛰어남
단일 GPU 중 가장 가성비가 뛰어남
RTX 4090 (24 GB). 1008 GB/s라는 뛰어난 메모리 대역폭을 제공하여 빠른 토큰 생성이 가능하며, Ollama, vLLM, llama.cpp, LM Studio 등 다양한 백엔드와 호환됩니다. 30B개의 Q4 모델을 무리 없이 처리할 수 있습니다.
대형 모델 실행에 가장 적합 (70B GB 이상)
대형 모델 실행에 가장 적합 (70B GB 이상)
Mac Studio (192 GB unified) fits the largest models of any desktop — 120B at Q4. DGX Spark (128 GB) runs 70B FP8 natively and 120B MoE models. Strix Halo (128 GB unified) is a compact alternative with Vulkan-based inference.
팀 단위 서비스에 가장 적합
팀 단위 서비스에 가장 적합
2x A6000에 NVLink를 적용하면 총 96 GB의 VRAM을 확보하여 여러 사용자를 동시에 지원할 수 있습니다. DGX Spark는 128 GB의 통합 메모리를 갖춘 즉시 사용 가능한 대안 제품으로, 다중 GPU 구성을 위한 별도 설정이 필요하지 않습니다.
무소음 / 팬이 없는 설계
무소음 / 팬이 없는 설계
Mac Studio는 60에서 150W 수준의 전력만 소모하며 거의 소음이 없는 냉각 시스템을 갖추고 있습니다. 사무실이나 가정 환경에서 항상 추론 작업을 수행해야 할 때 가장 조용한 선택지입니다.
AMD 생태계
AMD 생태계
Strix Halo는 128 GB의 통합 메모리를 갖추고 있습니다. Vulkan 백엔드와 함께
llama.cpp를 사용하시기 바랍니다. 이 플랫폼에서는 ROCm 지원이 제한적이기 때문입니다. 자세한 내용은 Strix Halo 설정 가이드를 참고해 주세요.최대한의 휴대성
최대한의 휴대성
휴대폰 / 엣지 기기를 활용해 네트워크 없이도 기기 내 추론이 가능합니다. 3B-7B 모델들을 llama.cpp, MLC-LLM 또는 MediaPipe를 통해 실행할 수 있습니다.
메모리가 모델 크기에 어떻게 대응하는지
로컬에서 LLM 추론을 수행할 때 가장 큰 제약 요소는 바로 메모리입니다. 일반적인 모델 크기가 서로 다른 양자화 수준에서 얼마만큼의 RAM 또는 VRAM을 필요로 하는지 설명해드리겠습니다.Always leave 2-4 GB free for the KV cache and runtime overhead. A 70B Q4_K_M model that “fits” in 40 GB of VRAM still needs headroom for context — plan for 44-48 GB total. See KV cache and context for the math.
하드웨어 선택 시 자주 저지르는 실수들
- 메모리 용량이 아닌 TFLOPS를 기준으로 구매하기. A4090은 A6000보다 연산 능력이 뛰어나지만, A6000에 탑재된 48 GB의 VRAM은 70B 모델들을 수용할 수 있는 반면 A4090의 24 GB VRAM으로는 불가능합니다. 메모리 용량이 어떤 모델을 실행할 수 있는지를 결정하며, TFLOPS는 실행 속도를 좌우합니다.
- KV 캐시 오버헤드를 간과하기. 로드 시점에 VRAM 용량에 맞는다고 여겨진 모델도 인퍼런스 과정에서 KV 캐시 크기가 증가함에 따라 메모리 부족 현상이 발생할 수 있습니다. 따라서 2에서 4 GB 정도의 추가 메모리를 예비해두는 것이 좋습니다.
- Assuming multi-GPU is free. Tensor parallelism across 2 GPUs requires fast interconnect (NVLink or PCIe 4.0 x16). Over PCIe, expect 10-20% throughput loss versus a single larger GPU.
- 전력 소비와 냉각 문제를 무시하기. 소규모 사무실 환경에서 450W급 RTX 4090은 상당한 열과 소음을 발생시킵니다. 장비가 24시간/7시간 가동될 경우 전기 요금 및 소음 영향도 함께 고려해야 합니다.
- 백엔드 호환성 확인을 생략하기. 모든 런타임이 모든 GPU를 지원하는 것은 아닙니다. 구매 전에 선택한 백엔드가 본인의 하드웨어와 호환되는지 반드시 확인하시기 바랍니다. 위의 런타임 호환성 항목도 참고해주세요.
다음 단계
로컬 모델을 선택하기
본인의 워크플로우, 하드웨어 사양 및 지연 시간 요구사항에 맞춰 모델과 백엔드를 고르세요.
모델 적합성 판단
본인의 GPU나 통합 메모리 용량에 맞는 모델 크기와 양자화 수준을 계산해보세요.
모델 샤딩
Split models across multiple GPUs when 1 GPU is not enough.
DGX Spark 모델 호환성
DGX Spark에서 사용 가능한 모델과 지원되는 양자화 수준을 확인해보세요.
Strix Halo 모델 호환성
AMD Strix Halo에서 Vulkan 및 ROCm 백엔드를 이용해 작동하는 모델들을 살펴보세요.
배포 환경 벤치마크
트래픽이 발생한 이후 각 배포 환경 간의 지연 시간과 처리량을 비교해보세요.
지원되는 백엔드
Ollama, LM Studio, llama.cpp, vLLM, SGLang 중 원하는 백엔드를 업스트림 모델 ID로 설정할 수 있습니다.
빠른 시작 가이드
단 몇 단계만으로 작동 가능한 커넥터와 배포 환경, 그리고 API 키까지 생성할 수 있습니다.