Rechercheur interactif d'adéquation des modèles — sélectionnez le matériel ou le modèle, ajustez la quantification et le contexte.
Fonctionnement
Le widget estime les besoins en mémoire en utilisant :
Les modèles MoE (comme Qwen3.8-2.4T-A95B ou DeepSeek-V3) chargent tous les poids des experts en mémoire, de sorte que le nombre total de paramètres détermine l’utilisation de la mémoire — même si seul le sous-ensemble actif s’exécute par jeton.
La formule de dimensionnement
Les poids du modèle occupent un nombre fixe d’octets par paramètre, et ce nombre d’octets dépend entièrement de la précision :
La taille brute des poids ne raconte pas toute l’histoire. Ajoutez environ 20% de surcoût (
×1.2) pour le cache KV, les activations et la mémoire du framework à une longueur de contexte modeste — les contextes plus longs ajoutent davantage de cache KV. Cela donne la formule de travail :
~Q4 (4 bits), incluant le surcoût de ~1.2 :
À titre de référence, une précision plus élevée augmente considérablement la taille des mêmes modèles au-delà de ce qu’une carte grand public peut contenir
70B en FP16 est d’environ 140 GB, et 120B en FP16 est d’environ 230 GB.
Hugging Face a mesuré un schéma similaire sur un modèle 15B+ : environ 29 GB à bf16, ~15 GB à 8 bits et ~9.5 GB à 4 bits. Consultez le guide Hugging Face pour l’optimisation des LLM et le README de quantization de llama.cpp pour les chiffres sous-jacents — GGUF Q4_K_M utilise une précision mixte qui se moyenne à environ 0.5–0.56 octets par paramètre.
Ces formules estiment la taille des poids. Le nombre réel qui compte est la taille du fichier
GGUF listée sur Hugging Face pour la quantification exacte que vous prévoyez d’exécuter, plus le cache KV pour votre longueur de contexte cible. Vérifiez toujours cela avant de vous engager sur du matériel.VRAM des GPU en un coup d’œil
Sources NVIDIA GeForce RTX 50 series, NVIDIA professional GPUs, Wikipedia GeForce RTX 40 series, Wikipedia GeForce RTX 30 series, AMD Ryzen AI Max, spécifications techniques Apple.
La mémoire GDDR dédiée (les cartes NVIDIA ci-dessus) est rapide et de taille fixe — vous ne pouvez pas en ajouter davantage ultérieurement. La mémoire unifiée (Apple Silicon, Strix Halo) partage un seul pool entre le CPU et le GPU, ce qui permet d’atteindre des tailles bien plus importantes, mais elle fonctionne avec une bande passante inférieure à celle d’une carte dédiée.
Ce qui tient où
Le tableau ci-dessous estime le niveau de confort à la quantification~Q4 pour une longueur de contexte modeste. Considérez chaque entrée comme une estimation — vérifiez la taille réelle du fichier GGUF ainsi que le cache KV avant de vous engager.
La vérité factuelle est toujours la taille du fichier
GGUF sur Hugging Face pour la quantification choisie, plus le cache KV requis par la longueur de votre contexte.
Vous avez choisi un modèle ? Connectez-le
Un point de terminaison authentifié sur
https://api.tokios.com — aucun port entrant, environ 5 minutes.Pourquoi la mémoire unifiée charge les grands modèles mais les exécute plus lentement
Le chargement d’un modèle ne nécessite qu’une capacité de mémoire suffisante pour contenir les poids. L’exécution rapide exige une bande passante mémoire suffisante pour alimenter en continu les unités de calcul, car le décodage à flux unique est limité par la bande passante mémoire — chaque jeton généré doit lire les poids du modèle (ou, pour un modèle à mélange d’experts, les experts actifs) depuis la mémoire. La préremplissage (traitement du prompt) est en revanche limité par le calcul, ce qui lui confère un comportement différent. C’est pourquoi les deux types de mémoire présentent des compromis différents :- GDDR dédiée (RTX 4090, 5090 et similaires) : bande passante élevée (environ
1000–1800 GB/s), mais capacité fixée par la carte. - Mémoire unifiée (Apple Silicon, Strix Halo) : capacité beaucoup plus grande (jusqu’à
128 GB), mais bande passante plus faible (environ256–546 GB/s).
96 GB peut charger un modèle de 120B qui ne tiendrait jamais sur une seule GPU grand public. Elle générera néanmoins les jetons plus lentement qu’une GPU dédiée exécutant un modèle qui tient dans sa propre VRAM, car elle dispose de moins de bande passante pour déplacer les poids par jeton.
Ne vous fiez pas aux chiffres de tok/s publiés par d’autres configurations — le matériel, les versions de pilotes, la quantification, la longueur du contexte et la taille du lot modifient tous le résultat. Mesurez votre propre déploiement avec llama-bench et consultez Évaluer les performances de votre déploiement pour une méthode reproductible de comparaison des déploiements une fois votre modèle en fonctionnement.
Étapes suivantes
Commencer avec Tokios
Une fois qu’un modèle est compatible avec votre matériel, Tokios le transforme en un point de terminaison API stable que vous pouvez appeler depuis n’importe où.
Choisissez le bon modèle pour votre tâche
Le dimensionnement réduit le champ des modèles compatibles. L’adéquation à la tâche détermine quelle famille de modèles charger en premier lieu.