메인 콘텐츠로 건너뛰기
권장하지 않는 하드웨어입니다. Tokios는 AMD Strix Halo(Ryzen AI Max+ 395)를 주요 추론 플랫폼으로 권장하지 않습니다. 해당 하드웨어에 대한 커뮤니티 차원의 탐색이 이루어졌으나 드라이버 지원이 불안정하며 ROCm의 안정성 역시 사용 중인 커널 및 펌웨어 버전에 따라 달라집니다. 현재 Vulkan이 유일하게 신뢰할 수 있는 백엔드입니다. 실제 서비스나 일상적인 추론 작업을 위해서는 Mac Studio, DGX Spark 또는 RTX 워크스테이션을 권장합니다. 이 페이지는 이미 Strix Halo 하드웨어를 보유하고 이를 최대한 활용하고자 하는 사용자들을 위한 것입니다.
The AMD Ryzen AI Max+ 395 (“Strix Halo”) ships with up to 128GB of unified memory shared between the CPU and the Radeon 8060S iGPU. That pool is large enough to load models that would need a $2,000+ discrete GPU — but the 215 GB/s memory bandwidth and the MoE-vs-dense distinction decide whether you get 2 tok/s or 30 tok/s. This page tells you exactly what fits and what to expect.

​
간단한 결론: MoE 모델이 우세합니다

스트릭스 헤일로 환경에서 MoE(혼합형 전문가) 모델은 동일한 총 파라미터 수를 가진 일반 모델보다 3–14배 더 빠르게 작동합니다. 그 이유는 대역폭 때문인데, MoE 모델에서는 각 토큰 처리 시 활성화된 파라미터만 메모리에서 읽혀지기 때문입니다. 따라서 122B개의 파라미터 중 10B개만 활성화된 MoE 모델은 10B개의 파라미터를 가진 일반 모델과 거의 동일한 속도로 토큰을 생성할 수 있습니다. 이는 122B개의 파라미터를 가진 모델과는 비교할 수 없는 속도입니다. 일상적으로 사용할 모델을 고르신다면 35B부터 122B 범위 내의 MoE 모델부터 살펴보시기 바랍니다.

​
128GB 통합 메모리에 대한 설명

Strix Halo에는 별도의 VRAM이 존재하지 않습니다. iGPU 역시 CPU와 동일한 DDR5 메모리 풀을 공유합니다. 기본적으로 BIOS와 OS가 해당 128GB 중 일부를 예약해둡니다:

​
Linux에서 BIOS 메모리 설정하기

Linux에서는 커널이 메모리 분배를 자동으로 처리합니다. 부팅 후 보통 95–110GB 정도가 GPU 작업에 사용 가능한 상태가 됩니다. 대부분의 경우 별도의 BIOS 설정 변경이 필요하지 않습니다.

​
Windows에서 메모리 설정하기

Windows에서는 2가지 설정을 지정해야 합니다:
  1. BIOS → UMA Frame Buffer — 사용 가능한 가장 큰 값으로 설정하세요 (보통 “Auto” 또는 특정 수치임).
  2. AMD Adrenalin → VRAM allocation — AMD Software: Adrenalin Edition을 열고 Settings → Graphics → Advanced 메뉴로 이동한 뒤 VRAM 슬라이더를 96GB 수준으로 조정하세요.
Windows 환경에서 Adrenalin을 통한 VRAM 할당을 설정하지 않으면 iGPU는 겨우 15.5GB만 인식하게 되는데, 이는 대형 모델을 실행하기엔 턱없이 부족한 용량입니다. 따라서 30B개 이상의 매개변수를 처리하려면 반드시 BIOS와 Adrenalin 슬라이더 둘 다 설정해주어야 합니다.

​
밀집형 모델의 호환성

밀집형 모델은 각 토큰마다 모든 매개변수를 활성화하므로 매 단계마다 전체 가중치 텐서를 메모리에서 읽어들여야 합니다. 215 GB/s 속도로는 토큰 처리 속도에 엄격한 한계가 생깁니다.
Qwen3-Coder-30B 모델의 Q4_K_M 버전은 Strix Halo 환경에서 코딩 에이전트(Cline, Aider, opencode 등)용으로 커뮤니티에서 가장 많이 활용되는 모델입니다. 메모리에 쉽게 적재되며 10–15 토큰/초의 속도를 제공합니다.

​
MoE 모델 호환성

MoE 모델은 전체 파라미터 수는 많지만 각 토큰 처리 시 일부분만 활성화됩니다. 이로 인해 각 단계에서 필요한 메모리 대역폭이 크게 줄어들고 생성 속도도 현저히 빨라집니다. MoE models with 3–12B active parameters are the sweet spot. They give you frontier-class quality at speeds that feel responsive in a chat or coding session.
GLM-4.6 (총 357B개 / 활성 파라미터 32B개)은 스트릭스 할로에 호환되지 않습니다. Q4_K_M 양자화 수준에서는 약 178 GB가 필요한데, 이는 128 GB에 불과한 통합 메모리 풀을 훨씬 초과하는 수치입니다. 설령 2개 노드로 구성된 RDMA 클러스터를 사용하더라도 (총 메모리 256 GB) 마찬가지입니다. 스트릭스 할로에서는 대신 GLM-4.5-Air를 사용하시기 바랍니다. 전체 모델 비교 정보는 GLM 제품군 페이지를 참고하세요.

​
Kimi K3 on Strix Halo

Kimi K3 does not fit Strix Halo. The model’s 2.8T total parameters (~50B active per token through Stable LatentMoE) need about 1.4 TB at the native MXFP4 precision. Strix Halo’s full 128 GB pool — roughly 90–110 GB after OS overhead — is about 1.27 TB short of the raw weight floor. Moonshot recommends serving K3 on a supernode with 64 or more accelerators. For the full memory calculation, see the Kimi K3 hardware deep dive. For Strix Halo today, the models that fit are in the tables above — up to ~122B MoE at Q4 on a single node. See what to run instead of Kimi K3 for the best pick at 128 GB.

​
Qwen3.8 on Strix Halo

The Qwen3.8 flagship shipped in August 2026 as Qwen3.8-2.4T-A95B: a Mixture-of-Experts model with 2.4 trillion total parameters and 95B active per token, text-only, released under Qwen’s custom qwen3.8-max license. The generation also includes Qwen3.8-27B (released 2026-08-14, Apache-2.0), a dense vision-language model that does fit Strix Halo — see below.

​
각 양자화 수준별 가중치 전용 메모리 용량

Even at the most aggressive quantization, Strix Halo cannot run Qwen3.8-2.4T-A95B. This is a multi-node cluster model that requires at least 5 DGX Sparks (or equivalent) at Q2 — and realistically 10+ nodes at Q4 for reasonable KV cache headroom. For full cluster sizing, see the Qwen3.8 model page.
MoE models load all expert weights into memory even though only a subset activates per token. Qwen3.8-2.4T-A95B activates 95B of its 2.4T, but the 1.2 TB at Q4 is a hard floor regardless. The MoE advantage is in compute (fewer FLOPs per token), not in memory.

​
스트릭스 할로에 적합한 Qwen3.8 모델입니다

Qwen3.8-27B is the single-machine member of the generation: a dense 27B vision-language model released 2026-08-14 under Apache-2.0. The official 30.9 GB FP8 build fits a 96 GB GPU allocation with room to spare, and even the 55.6 GB BF16 release fits — though a Q4_K_M GGUF (~17 GB, not yet published) will be the practical llama.cpp/Vulkan path on this hardware. Full sizing is on the Qwen3.8 model page; tested configurations will be added here once verified.

​
ROCm과 Vulkan 백엔드 간 비교

스트릭스 할로에 탑재된 Radeon 8060S iGPU(gfx1151)는 2 종류의 백엔드를 통해 추론 작업을 수행할 수 있습니다. 각각의 백엔드마다 장단점이 존재합니다. Vulkan을 사용하시기 바랍니다. 다만 ROCm이 꼭 필요한 특별한 사유가 있는 경우에만 다르게 하시면 됩니다(예: 미세 조정 평가를 위한 BF16 정밀도가 필요할 때).
llama.cpp Vulkan 및 Ollama를 포함한 런타임 옵션에 대해서는 Strix Halo에서 사용 가능한 vLLM 및 대체 솔루션을 참고해 주세요.

​
대역폭 제약 사항에 관한 내용입니다.

Strix Halo에 탑재된 DDR5 메모리는 이론상 215 GB/s의 대역폭을 제공합니다. 이 수치가 성능을 파악하는 데 가장 중요한 기준입니다.
  • 토큰 생성 과정은 메모리 대역폭에 의해 제한됩니다. 각 토큰을 생성할 때마다 모델의 활성 가중치들을 메모리에서 읽어와야 하기 때문입니다.
  • A 70B dense model at Q4 (~40GB) needs 40GB ÷ 215 GB/s ≈ 186ms per token → ~5 tok/s.
  • A 122B MoE model with 10B active at Q4 (~7GB active weights) needs 7GB ÷ 215 GB/s ≈ 33ms per token → ~30 tok/s.
프롬프트 처리(프리필) 과정은 연산 자원에 의해 제한되므로 토큰 생성보다 빠르게 진행됩니다. 긴 프롬프트도 신속히 처리된 뒤 토큰 생성이 대역폭 한계에 맞춰 진행되는 것을 확인할 수 있습니다.

​
사용 사례별 성능 기대치에 관한 내용입니다.

​
RDMA 기반의 실험용 2-노드 클러스터링

2 Strix Halo nodes can provide 256 GB of aggregate unified memory through llama.cpp RPC, but this is a proof-of-concept path, not a production configuration.
llama.cpp 측에서는 RPC 방식을 불안정하고 보안성이 낮으며 개념 증명용이라고 설명합니다. 따라서 RPC 워커를 신뢰할 수 없는 네트워크에 노출시키거나 실제 운영 환경의 엔드포인트로 활용해서는 안 됩니다. 네트워크 설정, 모델 호환성, 컨텍스트 용량 및 성능 등은 모두 현장에서 직접 검증해야 합니다.
단일 노드로는 모델을 수용할 수 없는 경우에만 통제된 실험 차원에서 이 방식을 고려하시기 바랍니다. DeepSeek V4 Flash 로컬 하드웨어 문서에서는 무손실 GGUF 형식이 어떻게 통합 메모리 풀에 적합한지 설명하며, 이 역시 실험용 Strix Halo 배포 사례임을 명시하고 있습니다.

​
메모리 사용량을 확인해보세요

모델을 로드하기 전에 사용 가능한 GPU 메모리 양을 확인해야 합니다:
Subtract OS overhead (~4GB) and leave 2–4GB for KV cache at your target context length. A 70GB model in Q4 leaves roughly 20GB for KV cache on a 96GB allocation — enough for 8K–16K context on most models.

​
다음 단계들

스트릭스 할로의 사용 사례

원격 접속을 위해 스트릭스 할로 장치에 Tokios 커넥터를 배포하세요.

스트릭스 할로에서 사용 가능한 vLLM 및 기타 대안들

llama.cpp Vulkan 및 Ollama를 포함한 런타임 옵션들

양자화 설정 가이드

GGUF 양자화 단계와 품질 간의 상충 관계를 이해해보세요.