結論として：Strix Halo上ではvLLMは安定して動作しない
vLLMとPyTorch Flash Attentionを併用すると、Radeon 8060S（gfx1151）においてGPUがハングしてしまう。このGPU向けに提供されているTheRock製PyTorchビルドはvLLMのCUDAベースのコードパスと互換性がなく、イージーモードによる回避策でもツール呼び出しが失敗する。コミュニティからの報告でも、さまざまなカーネルやROCmバージョンにおいて同様の現象が確認されている。 代わりに以下の代替手段のいずれかを利用してほしい：vLLMが機能しない理由
Strix Haloに搭載されているiGPUはgfx1151（RDNA 3.5）です。vLLMは当初NVIDIA製CUDA対応GPU向けに設計され、その後AMD製データセンター向けGPU（MI250、MI300X）向けにROCmサポートも追加されました。しかしStrix Haloの一般向けiGPUは、このサポート対象外となっています。 問題が発生する経緯は以下の通りです：- PyTorch TheRockビルド — AMD社からはgfx1151向けのTheRockビルドが提供されていますが、このビルドはvLLMのFlash Attention実装と互換性が低いのです。
- Flash AttentionとvLLMの組み合わせでGPUが応答不能に — vLLMでgfx1151上でFlash Attentionを有効化すると、GPUが応答不能状態となりシステムも操作不能になってしまい、強制的な電源リセットが必要になります。
- イージャーモードによる回避策 — Flash Attentionを無効化すれば応答不能状態は回避できますが、処理速度が大幅に低下しツール呼び出し機能も完全に使えなくなってしまいます。
- AMD環境ではツール呼び出し機能が動作しない — イージャーモードでも、AMD製ROCm環境下ではvLLMのツール呼び出しパーサーが正常に機能せず、コーディングエージェントとしての利用は不可能です。
推奨される代替手段としては、Vulkan対応版のllama.cppが挙げられます。
llama.cpp compiled with the Vulkan backend is the most reliable and fastest option on Strix Halo. Vulkan delivers 21% faster token generation than ROCm on this hardware and works on both Linux and Windows.
前提条件
- A Strix Halo system with 128GB unified memory
- Vulkanドライバーのインストール済み状態（LinuxではMesaに同梱、WindowsではAdrenalinに含まれる）
cmake、gcc/clang、およびgit
Vulkan対応のllama.cppをビルドする
サーバーを起動する
-ngl 999 flag offloads all layers to the GPU. Verify the server responds:
代替案：Ollama（0.17.7バージョンに固定）
Ollama is the easiest path if you wantollama run simplicity. You must pin version 0.17.7 — all 0.18.x versions have a GPU detection regression on Strix Halo that causes Ollama to fall back to CPU-only inference.
Install and pin Ollama 0.17.7
モデルを実行する
回避策：vLLMイージーモード（部分的な対応で推奨されない）
vLLMのAPI構造を正確に利用したい事情がある場合はイージーモードを試すことも可能だ。ただし処理速度の低下やツール呼び出しの不具合が予想される。- Flash Attention非対応 — スループットが正常に機能している環境と比べて大幅に低くなる
- ツール呼び出し機能が動作しない — AMD環境では構造化出力パーサーが機能しない
- コンテキスト長に制限あり — ページドアテンションが利用できない場合、メモリ負荷が急速に増大する
- GPUハングが依然発生する可能性 — 長いコンテキストを処理する際にハングが起きることがある
各バックエンドの比較概要
Tokiosを通じてモデルを公開する
正常に動作するランタイム（llama.cppまたはOllama）が用意できたら、その隣でTokiosコネクターを実行する。このコネクターは https://api.tokios.com へ接続するため、サーバー側で受信用ポートを開く必要はない。結果として認証済みの単一エンドポイントが得られる。
現在ハードウェアを購入する場合
Strix Haloが備える 128GBの統合メモリは理論上魅力的だが、ソフトウェアエコシステムはまだ未熟だ。信頼性の高いローカルLLM推論環境を求めるなら：
これらのいずれを選んでも、Strix Haloよりも少ない労力でよりスムーズな体験が得られるだろう
次に行うべき手順
Strix Haloにおけるモデル互換性
どのモデルが128GBのメモリ容量内で、どの程度の量子化レベルで利用可能か
Strix Haloの利用例
Strix Halo用のコネクターペアリング手順の詳細説明
DGX Sparkの利用例
The recommended alternative with 128GB unified memory.
vLLMのリモートアクセス方法
対応するNVIDIA製ハードウェア上でvLLMを安全に公開する手順