Skip to main content
Choisissez le matériel idéal pour le déploiement de modèles LLM en local. Chaque plateforme présentée ici dispose de caractéristiques précises concernant la mémoire, la puissance de calcul, la bande passante et la capacité de traitement, afin de faciliter la comparaison et de vous orienter vers le guide de configuration adapté. Si vous disposez déjà de matériel, consultez le tableau comparatif rapide pour situer votre plateforme. Si vous envisagez un achat, utilisez le guide de décision afin de limiter les choix selon votre budget et vos besoins.

​
Plateformes matérielles

NVIDIA DGX Spark

Serveur d’inférence actif en permanence pour les grands modèles MoEIdéal pour les équipes exécutant de grands modèles MoE 24/7 sur les puces Grace Blackwell.Consultez la page Compatibilité des modèles DGX Spark pour obtenir la liste complète des modèles.

AMD Strix Halo (Radeon 8060S)

Station de travail compacte dotée de 128 Go de mémoire unifiée
Le support ROCm est limité. Pour des résultats optimaux, utilisez le moteur Vulkan avec llama.cpp.

NVIDIA RTX 4090

Station de travail de bureau destinée à l’inférence haute vitesse pour un seul utilisateurIl s’agit de la bande passante mémoire la plus élevée chez les GPU grand public. Parfait pour des inférences rapides effectuées par un seul utilisateur.Ce produit s’associe bien avec vLLM pour un déploiement à haut débit ou avec Ollama pour une configuration simplifiée. Consultez la configuration d’une station de travail RTX.

NVIDIA RTX A6000

Station de travail professionnelle, apte au service multi-utilisateursDouble la quantité de mémoire VRAM d’un 4090 tout en offrant une bande passante de pointe moindre. Permet d’exécuter des modèles 70B sur un GPU 1.

Apple Mac Studio (M2 Ultra)

Fonctionnement silencieux, exécution de modèles volumineux sur macOSIl s’agit de la plus grande mémoire unifiée disponible sur un ordinateur de bureau. Elle permet d’exécuter 120B modèles en toute discrétion.Utilisez LM Studio ou Ollama avec l’accélération Metal. Consultez la page Configuration du Mac Studio.

Multi-GPU (2x RTX 4090 / 2x A6000)

Modèles trop volumineux pour le 1 connecteur GPURecourrez au parallélisme tensoriel sur 2 GPU lorsque 1 GPU ne suffisent pas. Consultez 1 contre 2 DGX Sparks pour en savoir plus sur les schémas de regroupement.

Ordinateur portable grand public (16 Go)

7B modèles, IA hors ligne, voyagesExécutez 7B modèles sur n’importe quel ordinateur portable sans avoir besoin de GPU. Idéal pour les assistants de codage hors ligne et les déplacements.Associez-vous à Ollama ou à llama.cpp pour un déploiement local des plus simples, puis utilisez Tokios afin d’accéder au modèle depuis votre téléphone ou tout autre appareil.

Téléphone / appareil mobile

Inférence directement sur l’appareil, confidentialité optimaleExécutez des modèles de petite taille directement sur votre téléphone. Pas de réseau, pas de cloud, pas de latence.Consultez Depuis votre téléphone pour savoir comment accéder à un modèle serveur domestique depuis les applications de discussion iOS et Android.
DeepSeek-V4-Flash-0731 is a special case: its roughly 162–167 GB weight floor is beyond the multi-GPU card examples above. 2× 96 GB RTX PRO 6000 Blackwell cards have enough aggregate VRAM, but 0731 needs community validation on that configuration. Compare the 2× RTX PRO 6000, 2× DGX Spark, and 2× Strix Halo paths before buying hardware.

​
Comparaison rapide

Les vitesses de traitement des jetons sont des estimations approximatives pour l’inférence avec 7B Q4 ; elles varient en fonction du moteur de traitement, du niveau de quantification et de la longueur du contexte. Testez votre propre configuration en utilisant Benchmark a deployment.

​
Compatibilité des moteurs d’exécution

Tous les moteurs ne fonctionnent pas sur toutes les plateformes. Voici ce que chaque catégorie matérielle prend en charge actuellement.
Si votre matériel dispose d’une compatibilité limitée, commencez par Ollama ou llama.cpp, qui couvrent le plus grand nombre de plateformes.

​
Consommation énergétique et facteur de forme

Le matériel d’inférence local va d’un simple téléphone à un serveur monté en rack. La consommation énergétique et le niveau sonore sont importants lorsque l’appareil se trouve sur votre bureau ou dans un bureau partagé. Si la machine exécute 24/7 dans un espace partagé, privilégiez une faible consommation en veille et un refroidissement discret. Le Mac Studio et le DGX Spark constituent les meilleurs choix pour un fonctionnement continu en environnement de bureau.

​
Mise à l’échelle au-delà de 1 machines

Lorsqu’une seule unité 1 ne suffit pas, deux options 3 s’offrent à vous :
  1. Add a second GPU in the same machine using tensor parallelism (TP=2). Works well with 2x RTX 4090 or 2x A6000. See Model sharding for the configuration.
  2. Regrouper plusieurs nœuds — par exemple, plusieurs unités 2 DGX Sparks reliées en réseau peuvent exécuter des modèles distribués dont les poids, le cache et la charge de calcul restent en dessous de 256 gigaoctets. Consultez 1 contre 2 DGX Sparks afin de connaître les avantages et les inconvénients de cette approche.
  3. Transférer le traitement vers un serveur distant : exécutez le modèle sur un serveur dédié doté de GPU et accédez-y via Tokios depuis n’importe quel client. Consultez les guides Accès distant vLLM et Accès distant Ollama.
Pour le partage d’un modèle au sein d’une équipe, la question clé est de savoir si l’on a besoin d’une plus grande vitesse de traitement ou d’une capacité modèle accrue. L’ajout de GPU améliore les deux aspects, mais l’évolutivité dépend du modèle, de la stratégie de parallélisme et de la qualité de l’interconnexion. Il convient de mesurer la charge globale plutôt que de supposer une augmentation linéaire des performances.

​
Quel matériel choisir ?

Utilisez un ordinateur portable grand public doté de 16 Go de mémoire vive pour exécuter les modèles 7B via Ollama ou llama.cpp. Si vous disposez d’un ordinateur de bureau muni d’un emplacement PCIe, une carte RTX 3090 d’occasion (24 Go) offre un excellent rapport qualité-prix à un prix compris entre 700et700 et 900, et permet de faire tourner jusqu’à 30B modèles en précision Q4.
RTX 4090 (24 Go). Elle propose la plus grande bande passante mémoire du marché grand public, soit 1008 Go/s, une génération rapide de jetons, ainsi qu’une compatibilité étendue avec Ollama, vLLM, llama.cpp et LM Studio. Elle convient parfaitement à 30B modèles en précision Q4.
Mac Studio (192 GB unified) fits the largest models of any desktop — 120B at Q4. DGX Spark (128 GB) runs 70B FP8 natively and 120B MoE models. Strix Halo (128 GB unified) is a compact alternative with Vulkan-based inference.
2x A6000 doté de NVLink offre au total 96 Go de VRAM et peut desservir plusieurs utilisateurs simultanément. DGX Spark constitue une solution clé en main proposant 128 Go de mémoire unifiée, sans nécessiter de configuration multi-GPU.
Mac Studio runs at 60-150W with near-silent cooling. It is the quietest option for always-on inference in an office or home environment.
Strix Halo doté de 128 Go de mémoire unifiée. Il convient d’utiliser llama.cpp avec le moteur Vulkan, car la prise en charge de ROCm est limitée sur cette plateforme. Consultez le guide de configuration de Strix Halo pour plus de détails.
Téléphone / appareil portable permettant l’inférence directement sur l’appareil sans besoin de connexion réseau. Exécutez des modèles 3B à 7B via llama.cpp, MLC-LLM ou MediaPipe.

​
Comment la mémoire se rapporte à la taille du modèle

La mémoire constitue la contrainte la plus importante pour l’inférence locale de modèles LLM. Voici comment les tailles de modèles courants se traduisent en quantité de RAM ou de VRAM nécessaire selon les niveaux de quantification.
Il convient toujours de laisser entre 2 et 4 Go libres pour le cache KV ainsi que les surcharges d’exécution. Un modèle de type 70B Q4_K_M qui « tient » dans 40 Go de mémoire vidéo requiert néanmoins de la marge pour le contexte — prévoyez donc entre 44 et 48 Go au total. Consultez la page Cache KV et contexte pour les calculs détaillés.
Les modèles de très grande envergure tels que Kimi K3, comptant 2.8 téraoctets de paramètres, nécessitent environ 1.4 To même après quantification en 4 bits — aucune configuration grand public ou prosumer ne peut les héberger. Moonshot préconise l’utilisation d’un supernode doté de plus de 64 accélérateurs. Pour en savoir davantage, consultez la page Exigences matérielles pour Kimi K3.
Consultez Trouver un modèle adapté à votre matériel pour en savoir plus sur l’adéquation entre la taille du modèle et vos ressources matérielles, ainsi que Les concepts de quantification pour comprendre la signification des différents niveaux de quantification.

​
Erreurs fréquentes liées au matériel

  • Buying for TFLOPS, not memory. A 4090 has more raw compute than an A6000, but the A6000’s 48 GB VRAM fits 70B models that the 4090’s 24 GB cannot. Memory determines what runs; TFLOPS determines how fast.
  • Négliger la surcharge liée au cache KV. Un modèle qui semble « compatible » avec votre VRAM au moment du chargement peut néanmoins provoquer un dépassement de mémoire lors de l’inférence, car le cache KV augmente avec la longueur du contexte. Prévoyez donc 2 à 4 Go supplémentaires.
  • Croire que l’utilisation de plusieurs GPU est sans coût. Le parallélisme tensoriel sur 2 GPU exige un interconnexion rapide, comme le NVLink ou le PCIe 4.0 x16. En utilisant le PCIe, on constate une perte de débit de 10 à 20% par rapport à l’utilisation d’un seul GPU plus puissant.
  • Overlooking power and cooling. A 450W RTX 4090 in a small office generates real heat and noise. If the box runs 24/7, factor in the electricity cost and acoustic impact.
  • Ne pas vérifier le backend. Tous les environnements d’exécution ne prennent pas en charge tous les GPU. Avant d’effectuer un achat, assurez-vous que le backend choisi est compatible avec votre matériel — consultez à ce sujet La compatibilité des environnements d’exécution.

​
Prochaines étapes

Sélectionner un modèle local

Choisissez un modèle et un backend en fonction de votre flux de travail, de votre matériel et de vos exigences en matière de latence.

Adéquation du modèle

Déterminez quelles tailles de modèles et quels niveaux de quantification conviennent à votre GPU ou à votre mémoire unifiée.

Fragmentation de modèles

Répartissez les modèles sur plusieurs GPU lorsque 1 GPU ne suffit pas.

Compatibilité des modèles avec DGX Spark

Découvrez quels modèles fonctionnent sur DGX Spark et aux niveaux de quantification possibles.

Compatibilité des modèles avec Strix Halo

Identifiez quels modèles sont compatibles avec AMD Strix Halo via les moteurs Vulkan et ROCm.

Évaluer un déploiement

Mesurez la latence et le débit entre différents déploiements dès que le trafic est généré.

Moteurs pris en charge

Configurez Ollama, LM Studio, llama.cpp, vLLM ou SGLang comme ID de modèle amont.

Démarrage rapide

Créez en un rien de temps un connecteur fonctionnel, un déploiement et une clé API.