Strix Halo에서의 vLLM: 현황, 실패 사례, 대안

추천하지 않는 하드웨어입니다. Tokios에서는 AMD 스트릭스 할로(Ryzen AI Max+ 395)를 주요 추론 플랫폼으로 추천하지 않습니다. 해당 하드웨어는 커뮤니티 차원에서만 탐색되었을 뿐 실제 생산 환경에 적합하지 않으며 드라이버 및 ROCm 지원도 불안정한 상태입니다. 안정적인 추론을 원하신다면 Mac Studio, DGX Spark 혹은 RTX 워크스테이션을 이용하시기 바랍니다. 이 페이지는 이미 스트릭스 할로 하드웨어를 보유하고 있으며 어떤 솔루션이 작동하는지 알고자 하는 사용자들을 위한 것입니다.

간단한 결론: 스트릭스 할로에서는 vLLM이 안정적으로 작동하지 않습니다

vLLM과 PyTorch Flash Attention을 함께 사용할 경우 Radeon 8060S(gfx1151) GPU에서 시스템이 멈추는 현상이 발생합니다. 이 GPU용으로 제공되는 TheRock PyTorch 빌드는 vLLM의 CUDA 기반 코드 경로와 호환되지 않으며, 대안으로 제시된 이지 모드 방식 역시 툴 호출 기능을 망가뜨립니다. 여러 커널 및 ROCm 버전에 걸쳐 커뮤니티에서도 이 문제가 지속적으로 보고되고 있습니다. 대신 다음 대안들 중 하나를 사용해 보시기 바랍니다:

대안	백엔드	상태	가장 적합한 용도
llama.cpp	Vulkan	정상 작동	최상의 성능과 최대한의 제어 기능 제공
Ollama 0.17.7	Vulkan/ROCM	정상 작동 (버전 고정 상태)	설정이 가장 간편함
vLLM 이지 모드	ROCm	부분적으로만 지원 — 툴 호출 기능 없음	권장하지 않음

vLLM이 작동하지 않는 이유

스트릭스 할로의 iGPU는 gfx1151 유형(RDNA 3.5 아키텍처)입니다. vLLM은 원래 NVIDIA CUDA 기반 GPU용으로 설계되었으며 이후 데이터센터용 AMD GPU(MI250, MI300X)에 대해서도 ROCm 지원을 추가했습니다. 하지만 스트릭스 할로에 탑재된 소비자용 iGPU는 이러한 지원 범위에 포함되지 않습니다. 문제 발생 과정은 다음과 같습니다:

PyTorch TheRock 빌드 — AMD에서는 gfx1151용 TheRock 빌드를 제공하지만, 이 빌드들은 vLLM의 플래시 어텐션 구현과 호환성이 떨어집니다.
플래시 어텐션과 vLLM의 충돌 — vLLM에서 gfx1151 환경에서 플래시 어텐션 기능을 활성화하면 GPU가 멈추고 시스템이 반응하지 않게 되어 강제로 전원을 재부팅해야만 합니다.
이저 모드를 통한 우회책 — 플래시 어텐션을 비활성화하면 GPU 멈춤 현상을 막을 수 있으나 처리 속도가 크게 저하되며 툴 호출 기능도 완전히 작동하지 않게 됩니다.
AMD 환경에서 툴 호출 기능 불가 — 이저 모드 상태에서도 AMD ROCm 환경에서는 vLLM의 툴 호출 파서가 제대로 작동하지 않아 코딩 에이전트 활용이 불가능합니다.

권장 대안: Vulkan 백엔드를 사용하는 llama.cpp

llama.cpp compiled with the Vulkan backend is the most reliable and fastest option on Strix Halo. Vulkan delivers 21% faster token generation than ROCm on this hardware and works on both Linux and Windows.

사용 전 필수 조건

A Strix Halo system with 128GB unified memory
Vulkan 드라이버가 설치되어 있어야 함 (리눅스에서는 Mesa 패키지에 포함, 윈도우에서는 Adrenalin 드라이버에 포함)
cmake, gcc/clang, 그리고 git

Vulkan을 사용하여 llama.cpp를 빌드합니다

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config Release -j$(nproc)

Windows에서는 PowerShell에서도 동일한 명령어를 사용할 수 있습니다(Visual Studio 또는 MinGW 툴체인 필요).

서버를 실행합니다

./build/bin/llama-server \
  -m /path/to/model-Q4_K_M.gguf \
  --host 127.0.0.1 \
  --port 8080 \
  -ngl 999

The -ngl 999 flag offloads all layers to the GPU. Verify the server responds:

curl http://127.0.0.1:8080/v1/models

Windows에서는 실행 전에 AMD Adrenalin의 VRAM 슬라이더를 96GB로 설정해야 합니다. 그렇지 않으면 iGPU가 약 15.5GB만 인식하게 되어 대형 모델 로드가 실패합니다. 메모리 할당에 관한 자세한 내용은 Strix Halo 모델 호환성 문서를 참고하세요.

대안으로 Ollama를 사용할 수 있습니다(0.17.7 버전으로 고정).

Ollama is the easiest path if you want ollama run simplicity. You must pin version 0.17.7 — all 0.18.x versions have a GPU detection regression on Strix Halo that causes Ollama to fall back to CPU-only inference.

Install and pin Ollama 0.17.7

# Download the specific release
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.17.7 sh

# Verify the version
ollama --version
# Expected: ollama version is 0.17.7

# Prevent auto-updates
sudo systemctl disable ollama-update.timer 2>/dev/null || true

원하는 모델을 실행합니다

ollama run qwen3-coder:30b

Do not run ollama update or let a package manager upgrade Ollama past 0.17.7. The 0.18.x GPU detection regression is unresolved. If you accidentally upgrade, reinstall 0.17.7 from the GitHub releases page.

임시 해결책: vLLM 이지 모드(부분적 지원이며 권장하지 않음)

vLLM의 API 형태를 정확히 유지해야 할 특별한 사유가 있다면 이지 모드를 시도해볼 수 있습니다. 다만 처리 속도가 저하되고 툴 호출 기능이 제대로 작동하지 않을 수 있습니다.

export HSA_OVERRIDE_GFX_VERSION=11.5.1
export VLLM_ATTENTION_BACKEND=FLASH_ATTN
export VLLM_USE_FLASH_ATTN_TRITON=0

vllm serve your-model \
  --dtype float16 \
  --enforce-eager \
  --max-model-len 4096 \
  --trust-remote-code

알려진 제한 사항들:

플래시 어텐션 미지원 — 처리량이 기존 배포 환경에 비해 현저히 낮습니다
툴 호출 기능 작동 불가 — AMD 환경에서는 구조화된 출력 파서가 제대로 작동하지 않습니다
컨텍스트 길이 제한 — 페이지드 어텐션 기능이 없으면 메모리 부하가 빠르게 증가합니다
GPU 멈춤 현상 여전히 발생 — 긴 컨텍스트 사용 시에도 GPU 멈춤 현상이 발생할 수 있습니다

백엔드 간 비교 요약

주요 요인	llama.cpp + Vulkan	Ollama 0.17.7	vLLM 이저
토큰 생성 속도	가장 빠름 (ROCm 환경에서 21% 수준)	양호함	가장 느림
설정 난이도	소스 코드로 빌드하기	1 명령어를 사용하여 고정하기	복잡한 환경 변수 설정
툴 호출 기능	정상 작동함	정상 작동함	작동하지 않음
스트리밍 기능	정상 작동함	정상 작동함	정상 작동함
OpenAI와 호환되는 API	`/v1` on port 8080	`/v1` on port 11434	`/v1` on port 8000
윈도우 지원 여부	예 (Vulkan 사용 가능)	예 (Vulkan 사용 가능)	아니요 (리눅스 전용)
안정성	양호함	양호 (고정됨)	불량

Tokios를 통해 모델을 배포하세요

정상 작동하는 런타임 환경인 llama.cpp 또는 Ollama가 준비되면, 그 옆에 Tokios 커넥터를 실행하시면 됩니다. 이 커넥터는 https://api.tokios.com으로 연결되며 사용자 측에 인바운드 포트가 필요하지 않습니다. 그 결과 단일 인증된 엔드포인트가 제공됩니다.

# Start llama.cpp
./build/bin/llama-server -m model.gguf --port 8080

# Install and pair the Tokios connector
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

커넥터 연동 방법에 대한 자세한 안내는 Strix Halo 활용 사례 페이지를 참고하시기 바랍니다.

현재 하드웨어를 구매하려는 경우

Strix Halo에 탑재된 128GB 용량의 통합 메모리는 이론상 매력적이지만, 소프트웨어 생태계는 아직 미성숙한 상태입니다. 안정적인 로컬 LLM 추론을 원하신다면 다음을 고려해보세요:

플랫폼	메모리	대역폭	생태계
DGX Spark	128GB의 통합 메모리	273 GB/s의 대역폭	NVIDIA CUDA — 매우 성숙하고 폭넓은 지원을 받는 기술
Mac Studio M4 Ultra	192GB의 통합 메모리	819 GB/s의 대역폭	Metal — 뛰어나고 완성도가 높은 기술
RTX 4090 워크스테이션	24GB의 VRAM 용량	1008 GB/s의 대역폭	CUDA — 토큰 처리 속도가 가장 빠르지만 메모리 용량은 제한적임

위 옵션들 중 어느 것을 선택하더라도 동일하거나 더 적은 노력만으로 Strix Halo보다 훨씬 원활한 경험을 얻을 수 있습니다.

다음 단계 안내

Strix Halo 모델 호환성 정보

어떤 모델들이 128GB 용량 내에 들어가며, 어떤 양자화 수준을 사용할 수 있는지 알려주세요.

Strix Halo의 활용 사례

Strix Halo용 커넥터 연동 절차 상세 안내

DGX Spark 활용 사례

The recommended alternative with 128GB unified memory.

vLLM 원격 접속 방법

지원되는 NVIDIA 하드웨어에서 vLLM을 안전하게 공개하는 절차입니다.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

Strix Halo에서의 vLLM: 현황, 실패 사례, 대안

간단한 결론: 스트릭스 할로에서는 vLLM이 안정적으로 작동하지 않습니다

vLLM이 작동하지 않는 이유

권장 대안: Vulkan 백엔드를 사용하는 llama.cpp

사용 전 필수 조건

Vulkan을 사용하여 llama.cpp를 빌드합니다

서버를 실행합니다

대안으로 Ollama를 사용할 수 있습니다(0.17.7 버전으로 고정).

Install and pin Ollama 0.17.7

원하는 모델을 실행합니다

임시 해결책: vLLM 이지 모드(부분적 지원이며 권장하지 않음)

백엔드 간 비교 요약

Tokios를 통해 모델을 배포하세요

현재 하드웨어를 구매하려는 경우

다음 단계 안내

Strix Halo 모델 호환성 정보

Strix Halo의 활용 사례

DGX Spark 활용 사례

vLLM 원격 접속 방법

​간단한 결론: 스트릭스 할로에서는 vLLM이 안정적으로 작동하지 않습니다

​vLLM이 작동하지 않는 이유

​권장 대안: Vulkan 백엔드를 사용하는 llama.cpp

​사용 전 필수 조건

​Vulkan을 사용하여 llama.cpp를 빌드합니다

​서버를 실행합니다

​대안으로 Ollama를 사용할 수 있습니다(0.17.7 버전으로 고정).

​Install and pin Ollama 0.17.7

​원하는 모델을 실행합니다

​임시 해결책: vLLM 이지 모드(부분적 지원이며 권장하지 않음)

​백엔드 간 비교 요약

​Tokios를 통해 모델을 배포하세요

​현재 하드웨어를 구매하려는 경우

​다음 단계 안내

Strix Halo 모델 호환성 정보

Strix Halo의 활용 사례

DGX Spark 활용 사례

vLLM 원격 접속 방법

간단한 결론: 스트릭스 할로에서는 vLLM이 안정적으로 작동하지 않습니다

vLLM이 작동하지 않는 이유

권장 대안: Vulkan 백엔드를 사용하는 llama.cpp

사용 전 필수 조건

Vulkan을 사용하여 llama.cpp를 빌드합니다

서버를 실행합니다

대안으로 Ollama를 사용할 수 있습니다(0.17.7 버전으로 고정).

Install and pin Ollama 0.17.7

원하는 모델을 실행합니다

임시 해결책: vLLM 이지 모드(부분적 지원이며 권장하지 않음)

백엔드 간 비교 요약

Tokios를 통해 모델을 배포하세요

현재 하드웨어를 구매하려는 경우

다음 단계 안내