Mise en service et mise à l’échelle d’un modèle

Lorsque vous lancez ollama run qwen3.6, de nombreux éléments restent invisibles. Dès que vous accédez à l’onglet avancé Run it d’une page de modèle et que vous voyez une ligne telle que vllm serve … --tensor-parallel-size 8 --enable-expert-parallel, vous faites face à un vocabulaire nouveau. Cette page décrit ces termes, leur fonction et les cas d’usage concrets.

​

Le moteur d’inférence

Un moteur d’inférence est le composant chargé de charger le modèle, d’effectuer les calculs, de gérer le regroupement de requêtes et le cache KV, puis d’exposer une clé API. Ces moteurs privilégient le contrôle plutôt que la simplicité d’utilisation : Les solutions les plus simples (Ollama, LM Studio) constituent la voie d’initiation sur chaque page de modèle. Les autres offrent les contrôles décrits ci-dessous. Tokios se connecte à chacune d’elles ; il transmet les requêtes à l’/v1 compatible OpenAI que votre framework met à disposition.

​

Précision

Précision : nombre de bits que le moteur d’exécution utilise pour stocker et calculer chaque nombre du modèle — FP32 (32-bit), FP16/bf16 (16-bit), FP8 (8-bit) ou les formats 4-bit. Moins de bits signifie moins de mémoire et des transferts de données plus rapides, au prix d’un certain risque pour la qualité. C’est la même idée que la quantification — la précision est le réglage, la quantification consiste à le baisser. La question de savoir quel format de faible précision votre matériel peut réellement exécuter est distincte ; elle est traitée dans Les formats de quantification et le matériel requis.

​

Noyaux

Un noyau est la petite routine GPU (ou CPU) hautement optimisée qui effectue une opération critique — une multiplication matricielle, une étape d’attention, la déquantification d’un poids 4-bit, l’échantillonnage du token suivant. Vous nommez rarement les noyaux directement, mais ils expliquent deux choses que vous constatez bel et bien :

• Pourquoi un format de quantification exige du matériel spécifique. Un format ne s’avère rapide que si le moteur d’exécution fournit un noyau compatible avec votre puce. NVFP4 requiert des noyaux pour les cœurs tensoriels Blackwell ; GGUF fonctionne sur de nombreuses architectures car llama.cpp propose des noyaux pour CPU, Metal, CUDA, ROCm et Vulkan. Consultez Les formats de quantification et le matériel requis.
• Pourquoi le terme « FlashAttention » revient-il souvent. FlashAttention constitue un noyau d’attention plus rapide qui réduit l’utilisation de la mémoire dans les contextes longs. Lorsqu’un moteur d’exécution indique que cette fonctionnalité est activée, il s’agit d’un choix de noyau effectué en votre faveur.

​

Exécution sur plusieurs GPU — parallélisme

Lorsqu’un modèle dépasse les capacités d’un seul GPU, ou qu’un GPU ne parvient pas à gérer la charge de travail, le moteur d’exécution répartit les tâches entre plusieurs GPU. Quatre stratégies principales existent, chacune répondant à des besoins différents :

• Le parallélisme tensoriel divise les matrices de chaque couche en tranches, une par GPU, et les GPU combinent les résultats lors de chaque passage en avant. Cette technique réduit la mémoire requise par GPU, mais exige une communication constante entre les GPU ; des interconnexions rapides telles que NVLink sont donc indispensables.
• Le parallélisme de pipeline place différentes couches sur différents GPU, comme une chaîne de montage. Il s’adapte à de nombreux appareils, mais peut laisser des GPU inactifs en attendant l’étape précédente.
• Le parallélisme de données exécute simplement des copies indépendantes. Il n’aide en rien un modèle qui ne tient déjà pas — il sert uniquement à traiter davantage de requêtes simultanées.
• Le parallélisme d’experts s’applique uniquement aux modèles MoE : au lieu de copier chaque expert sur chaque GPU, chaque GPU détient certains experts et les tokens sont acheminés vers le GPU qui possède l’expert choisi. Idéal pour les grands modèles MoE, au prix d’une surcharge de routage.

Sources : Parallélisme et évolutivité dans vLLM, Déploiement en parallélisme de données dans vLLM, Déploiement en parallélisme d’experts dans vLLM, Stratégie de parallélisme dans TensorRT-LLM.

​

Décodage spéculatif et prédiction de plusieurs tokens

Le décodage est lent parce que le modèle lit ses poids en mémoire pour chaque token. Le décodage spéculatif l’accélère sans modifier la sortie : un « brouillon » rapide propose plusieurs tokens à la fois, puis le modèle complet les vérifie en une seule passe et conserve ceux qu’il approuve. La vérification étant moins coûteuse qu’une génération complète, vous obtenez davantage de tokens acceptés par lecture mémoire. La prédiction de plusieurs tokens (MTP) est une façon de produire ces brouillons. Le modèle embarque des têtes supplémentaires entraînées à prédire les tokens suivants, ce qui lui permet de brouillonner et de se vérifier lui-même. La version DeepSeek-V4-Flash-0731 actuelle intègre un module DSpark dans le même checkpoint. Sa fiche officielle documente method: dspark pour vLLM et DSPARK pour SGLang, vous n’avez donc pas à configurer un chemin de modèle brouillon distinct. Sources : Fiche technique du modèle DeepSeek-V4-Flash-0731, Fiche technique du modèle Qwen3.6-27B, Décodage spéculatif dans vLLM.

​

Contexte d’utilisation