Référence matérielle

Choisissez le bon matériel pour l’inférence LLM locale. Chaque plateforme ci-dessous est spécifiée pour la mémoire, le calcul, la bande passante et la capacité de modèles afin que vous puissiez comparer d’un coup d’œil et passer au guide de configuration correspondant. Si vous avez déjà du matériel, commencez par le tableau comparatif rapide pour voir où se situe votre plateforme. Si vous achetez, utilisez le guide de décision pour filtrer par budget et cas d’usage.

​

Hardware platforms

​

Quick comparison

​

Runtime compatibility

Tous les runtimes ne fonctionnent pas sur toutes les plateformes. Voici ce que chaque niveau de matériel prend en charge aujourd’hui.

​

Power and form factor

Le matériel d’inférence locale va d’un téléphone dans votre poche à un serveur rack. La consommation et le bruit comptent si la machine vit sur votre bureau ou dans un bureau partagé. Si la machine tourne 24/7 dans un espace partagé, privilégiez une faible consommation idle et un refroidissement silencieux. Le Mac Studio et le DGX Spark sont les meilleures options permanentes pour les environnements de bureau.

​

Scaling beyond 1 machine

Quand 1 machine ne suffit pas, vous avez 3 options :

1. Ajoutez un second GPU dans la même machine avec le parallélisme tensoriel (TP=2). Fonctionne bien avec 2x RTX 5090 (64 GB total), 2x RTX 4090, ou 2x A6000. Voir Model sharding pour la configuration.
2. Clusterisez plusieurs nœuds — par exemple, 2 DGX Sparks connectés en réseau peuvent servir certains modèles distribués dont les poids, le cache et la surcharge runtime tiennent sous 256 GB. Voir 1 vs 2 DGX Sparks pour les compromis.
3. Déportez vers un serveur distant — faites tourner le modèle sur un serveur GPU dédié et atteignez-le via Tokios depuis n’importe quel client. Voir vLLM remote access et Ollama remote access.

Pour le serving en équipe, la question clé est de savoir si vous avez besoin de plus de débit ou de plus de capacité de modèle. Des GPU supplémentaires peuvent améliorer les deux, mais le passage à l’échelle dépend du modèle, de la stratégie de parallélisme et de l’interconnexion. Mesurez la charge de travail complète au lieu de supposer un débit linéaire.

​

Which hardware should you choose?

​

How memory maps to model size

La contrainte la plus importante pour l’inférence LLM locale est la mémoire. Voici comment les tailles de modèles courantes correspondent à la RAM ou la VRAM dont vous avez besoin à différents niveaux de quantification. Voir Find a model that fits your hardware pour examiner comment associer taille de modèle et matériel, et Quantization concepts pour ce que signifient les niveaux de quantification.

​

Common hardware mistakes

• Acheter pour les TFLOPS, pas pour la mémoire. Un 4090 ou 5090 a plus de calcul brut qu’un A6000, mais le A6000 avec ses 48 GB de VRAM fait tourner des modèles 70B que le 4090 avec ses 24 GB ne peut pas. Même le 5090 avec ses 32 GB est juste pour du 70B à des quantifications plus élevées. La mémoire détermine ce qui tourne ; les TFLOPS déterminent la vitesse.
• Ignorer la surcharge du cache KV. Un modèle qui “tient” dans votre VRAM au chargement peut quand même OOM pendant l’inférence car le cache KV grandit avec la longueur de contexte. Prévoyez 2-4 GB de plus.
• Croire que le multi-GPU est gratuit. Le parallélisme tensoriel sur 2 GPU nécessite un interconnexion rapide (NVLink ou PCIe 4.0 x16). En PCIe, attendez-vous à 10-20% de perte de débit par rapport à un seul GPU plus grand.
• Négliger l’alimentation et le refroidissement. Un 575W RTX 5090 ou un 450W RTX 4090 dans un petit bureau génère de la chaleur et du bruit. Si la machine tourne 24/7, intégrez le coût électrique et l’impact acoustique.
• Passer la vérification du backend. Tous les runtimes ne supportent pas tous les GPU. Confirmez que le backend choisi fonctionne sur votre matériel avant d’acheter — voir Runtime compatibility ci-dessus.

​

Next steps