Verdict rapide : vLLM ne fonctionne pas de manière fiable sur Strix Halo
L’utilisation de vLLM en combinaison avec PyTorch Flash Attention entraîne des blocages du GPU sur la carte Radeon 8060S (gfx1151). Les versions de PyTorch développées par TheRock destinées à ce GPU ne sont pas compatibles avec les chemins de code de vLLM issus de CUDA, et la solution de contournement en mode actif perturbe l’appel aux outils. Les retours de la communauté confirment ce phénomène sur plusieurs versions de noyau et de ROCm. Privilégiez plutôt l’une de ces solutions de remplacement :Pourquoi vLLM échoue
L’iGPU de Strix Halo est gfx1151 (RDNA 3.5). vLLM a été conçu pour les GPU NVIDIA CUDA puis a intégré la prise en charge ROCm pour les GPU AMD destinés aux centres de données (MI250, MI300X). L’iGPU grand public de Strix Halo ne fait pas partie de cette liste de matériels pris en charge. La chaîne de défaillances :- Compilations PyTorch TheRock — AMD fournit des compilations TheRock pour gfx1151, mais celles-ci ne s’accordent pas bien avec l’implémentation Flash Attention de vLLM.
- Flash Attention et vLLM entraînent un gel du GPU — lorsque vLLM active Flash Attention sur gfx1151, le GPU se fige et le système devient totalement inopérant, nécessitant un redémarrage forcé.
- Solution de contournement via le mode Eager — désactiver Flash Attention empêche ce gel, mais le débit chute fortement et l’appel d’outils devient impossible.
- Les appels d’outils ne fonctionnent pas sur AMD — même en mode Eager, le parseur d’appels d’outils de vLLM échoue sur ROCm AMD, ce qui exclut toute utilisation pour des agents de codage.
Solution alternative recommandée : llama.cpp avec Vulkan.
llama.cpp compilé avec le backend Vulkan est l’option la plus fiable et la plus rapide sur Strix Halo. Vulkan offre une génération de tokens 21% plus rapide que ROCm sur ce matériel et fonctionne sous Linux et Windows.
Prérequis
- Un système Strix Halo doté de 128 Go de mémoire unifiée.
- Les pilotes Vulkan installés (fournis par Mesa sous Linux et par Adrenalin sous Windows).
cmake,gcc/clangetgit
Compiler llama.cpp en utilisant Vulkan
Lancer le serveur
-ngl 999 permet de transférer toutes les couches de calcul vers le GPU. Vérifiez que le serveur répond bien.
Autre solution : Ollama (version fixe 0.17.7)
Ollama est la voie la plus simple si vous recherchez la simplicité d’ollama run. Vous devez épingler la version 0.17.7 — toutes les versions 0.18.x présentent une régression de détection du GPU sur Strix Halo qui fait repasser Ollama à une inférence uniquement sur CPU.
Installer et verrouiller Ollama à la version 0.17.7
Exécuter un modèle
Solution de contournement : mode actif vLLM (partiel, déconseillé)
Si vous avez une raison précise d’avoir besoin de la structure d’API exacte de vLLM, vous pouvez tester le mode actif. Toutefois, attendez-vous à une baisse de performance et à des dysfonctionnements dans l’appel des outils.- Absence de Flash Attention — le débit est nettement inférieur à celui des configurations fonctionnelles
- Appels d’outils défaillants — le parseur de sortie structurée rencontre des problèmes sur les processeurs AMD
- Longueur du contexte limitée — la consommation mémoire augmente rapidement sans mécanisme de pagination du contexte
- Bloquages GPU possibles — des contextes très longs peuvent encore provoquer des blocages
Résumé comparatif des moteurs de traitement
Exposez votre modèle via Tokios
Une fois que vous disposez d’un environnement d’exécution fonctionnel (llama.cpp ou Ollama), lancez le connecteur Tokios en parallèle. Ce connecteur communique avec https://api.tokios.com — sans nécessiter de ports entrants sur votre machine — et vous fournit un point de terminaison sécurisé et authentifié.
Si vous envisagez d’acquérir du matériel dès aujourd’hui
La mémoire unifiée de 128 Go proposée par Strix Halo semble intéressante sur le papier, mais l’écosystème logiciel reste fragile. Pour un déploiement local fiable de modèles LLM :
L’un de ces choix vous garantira une expérience plus fluide que Strix Halo, avec un effort comparable ou moindre.
Prochaines étapes
Compatibilité des modèles avec Strix Halo
Quels modèles peuvent être utilisés avec 128 Go et quelle est la quantification appropriée ?
Cas d’utilisation de Strix Halo
Guide complet sur l’association des connecteurs pour Strix Halo.
Cas d’utilisation de DGX Spark
L’alternative recommandée dotée de 128 Go de mémoire unifiée.
Accès à distance à vLLM
Mettez en œuvre vLLM en toute sécurité sur le matériel NVIDIA compatible.