Run DeepSeek-V4-Flash-0731 locally: hardware requirements

Vous pouvez héberger vous-même deepseek-ai/DeepSeek-V4-Flash-0731, la version officielle qui remplace la préversion V4 Flash. La réponse ne dépend pas uniquement de la quantité totale de mémoire. Le modèle cible 284B active 13B paramètres par jeton. Le module DSpark inclus augmente le nombre total de paramètres à environ 304B. Selon les formats de service publiés, il faut encore disposer d’environ 162 à 167 Go de mémoire pour les poids du modèle, le cache KV, les tampons temporaires et le système d’exploitation. Les configurations 3 ci-dessous répondent à ces exigences minimales, mais ne bénéficient pas d’une maturité logicielle identique. La recommandation pratique est simple : commencez avec un 32K–128K contexte, vérifiez qu’il est possible d’obtenir une génération stable ainsi que des appels aux outils, puis évaluez la capacité du cache. Considérez 384K et 1M comme deux objectifs techniques distincts. Le modèle annonce une fenêtre de contexte pouvant accueillir 1M tokens ; cela ne signifie pas pour autant que chaque configuration locale puisse allouer un cache utilisable de 1M tokens.

Quelles configurations conviennent et dans quelle mesure peut-on s’y fier ?

Configuration	Mémoire unifiée ou accélérateurs combinés	Interconnexions	Taille de contexte de départ pratique	Niveau de maturité	Conclusion
2 × RTX PRO 6000 Blackwell	192 Go de mémoire vidéo	PCIe ; la topologie hôte varie selon la station de travail	32K à 128K après mesure	Une validation par la communauté est nécessaire	Fits the weight floor, but 0731 has no official TP=2 validation
2 × DGX Spark	256 Go de mémoire unifiée	ConnectX-7 cluster link	32K à 128K après mesure	Testé par la communauté	The most documented prosumer cluster path; preview-checkpoint results need 0731 revalidation
2× Strix Halo	Jusqu’à 256 Go de mémoire unifiée	Utilisation de llama.cpp via un protocole RPC sur votre réseau	32K au départ, si la stabilité est assurée	Expérimental	La capacité est réalisable grâce au format GGUF, mais l’environnement d’exécution distribué demeure une simple preuve de concept
4× Go300	Configuration de référence proposée par le fabricant	Plateforme conçue pour les centres de données	Veuillez vous conformer aux indications figurant sur la fiche du modèle	Validé	Official 0731 reference configuration

Vérifié indique que la documentation du logiciel ou du modèle mentionné précise le chemin exact à suivre. Validation communautaire requise signifie que les capacités et le chemin d’exécution associé sont documentés, mais qu’aucune combinaison exacte de checkpoint et de matériel n’a encore été reproduite publiquement. Testé par la communauté indique que des utilisateurs ont rapporté avoir appliqué cette méthode, toutefois vous devez la reproduire sur vos propres versions. Expérimental signifie que le projet amont lui-même met en garde contre l’utilisation de cette approche en production.

Commencez par les calculs de mémoire.

La fiche technique officielle du modèle décrit le modèle cible 284B, le nombre 13B de paramètres actifs par jeton, ainsi que le module de décodage spéculatif DSpark qui y est associé. La matrice matérielle actuelle de SGLang compte environ 304B paramètres pour l’ensemble du checkpoint 0731. Ce chiffre permet de comprendre le coût de calcul, mais il ne renseigne pas sur la quantité d’état du modèle devant être conservée en mémoire :

304B checkpoint parameters × the mixed bytes per stored weight + format metadata
  + KV cache + runtime workspaces + communication buffers
  + operating-system and serving-process memory

For a concrete downloadable format, Unsloth lists a lossless GGUF release at about 162 GB. Other serving formats are closer to 167 GB once their fused weights and metadata are counted. That is the weight floor, not a deployment recommendation.

Élément	Planifiez-le
Fichiers du modèle	Prévoyez au moins 200 Go d’espace disque libre pour un checkpoint de 162 à 167 Go, en ajoutant une marge de sécurité pour le téléchargement et la conversion.
Poids du modèle	162 à 167 Go avant les frais liés au cache et à l’exécution
Mémoire cache KV	Mesurez cette valeur selon votre contexte cible, le niveau de concurrence et le type de données utilisé pour la mémoire cache.
Tampons d’exécution	Il faut prévoir de l’espace pour les noyaux, les communications NCCL/RPC, la tokenisation ainsi que les allocations du serveur de modèles.
Mémoire système	Les systèmes à mémoire unifiée partagent le même espace avec le système d’exploitation et d’autres processus.

Il ne faut pas considérer que 192 Go représentent 192 Go disponibles pour V4 Flash. Deux GPU de 96 Go permettent d’atteindre le seuil requis pour les poids, mais laissent peu de marge pour le cache KV et les allocations d’exécution. Le simple chargement du modèle ne garantit pas pour autant un déploiement fonctionnel.

2 × RTX PRO 6000 Blackwell

NVIDIA indique que la carte RTX PRO 6000 Blackwell dispose de 96 Go de mémoire GDDR7 et d’une bande passante mémoire de 1,792 Go/s dans ses spécifications produit. Deux cartes offrent ainsi 192 Go de VRAM, ce qui suffit en théorie pour contenir les formats de poids officiels. SGLang mentionne un parallélisme tensoriel de 2 pour l’ancien checkpoint Flash dans son guide DeepSeek V4. Sa liste de validation 0731 inclut des configurations GPU plus importantes, allant de 4 à 8, mais pas cette configuration exacte à 2 GPU. Cette voie doit être qualifiée de Validation communautaire requise, car elle n’est pas encore confirmée.

Séquence recommandée

Vérifiez que les deux GPU sont bien détectés par le moteur d’exécution choisi.
Commencez avec une limite de contexte de 32K et un seul 1 requête simultanément.
Augmentez cette limite jusqu’à atteindre 128K uniquement après avoir mesuré l’utilisation de la VRAM, la latence du premier token et la stabilité globale du fonctionnement.
Si vous avez besoin de 384K ou de 1M, dimensionnez le cache KV en fonction de l’utilisation réelle plutôt que de soustraire manuellement les poids du volume total de VRAM.

Testé par la communauté — référence Flash TP=2 antérieure. Adaptez l’ID de modèle amont et les paramètres selon la version indiquée dans le guide SGLang. Il s’agit d’un modèle de départ, non d’une validation officielle de 0731 :

sglang serve \
  --model-path deepseek-ai/DeepSeek-V4-Flash-0731 \
  --tp 2 \
  --context-length 32768

Avant d’utiliser cette commande, comparez les noms d’arguments et les formats de quantification pris en charge avec la version de SGLang que vous avez installée. Le point de contrôle, le conteneur, les pilotes et la topologie de la station de travail influencent tous la réussite du TP=2.

2 × DGX Spark

Each DGX Spark has 128 GB of LPDDR5x unified memory and 273 GB/s memory bandwidth. NVIDIA documents a ConnectX-7 clustering path for 2 systems in its Spark stacking guide, and lists the hardware details in its DGX Spark overview. This gives 256 GB of aggregate memory, which is meaningfully less tight than 192 GB for weight plus cache capacity. Il s’agit néanmoins d’un environnement d’exécution distribué en réseau. NVIDIA décrit la structure du cluster, mais il ne s’agit pas d’une recette officielle de 0731 DeepSeek. Les retours de la communauté concernant les unités 2 Sparks se réfèrent au point de contrôle Flash précédent. Revalidez le chargement du modèle, la génération, les appels d’outils et les requêtes soutenues après le passage à 0731.

Topologie recommandée

Spark 1 (head node)                         Spark 2 (worker)
  model-server coordinator  <--- CX7 --->    worker rank
  127.0.0.1:<port>/v1
  tokios-connector

Seul le nœud principal requiert le connecteur Tokios. Il doit pointer vers le point de terminaison /v1 compatible OpenAI local du nœud principal, et non directement vers les nœuds de calcul ou la structure du cluster. Testé par la communauté — modèle de départ pour deux unités Spark. Commencez par finaliser la configuration réseau 2-Spark proposée par NVIDIA. Ensuite, utilisez une recette d’exécution distribuée adaptée à votre version installée, en partant d’un contexte de 32K. Ne présentez pas la commande de point de contrôle préliminaire comme une recette officielle de 0731.

NVIDIA désigne cette liaison haute vitesse comme un lien de cluster ConnectX-7. Il ne remplace pas un pool mémoire de type NVLink sur une seule carte : l’environnement d’exécution segmente toujours les tâches et communique entre les nœuds. Mesurez le débit et la latence en fonction de la taille des prompts.

2 × Strix Halo

AMD mentionne le Ryzen AI Max+ 395 doté de jusqu’à 128 Go de mémoire unifiée dans ses spécifications processeur. Deux systèmes entièrement configurés offrent une capacité globale suffisante pour accueillir la version GGUF de 162 Go. Le problème réside dans la couche de service distribué. La méthode disponible est le protocole RPC de llama.cpp. Le README du protocole RPC amont le présente comme un simple prototype et met en garde contre sa fragilité et son manque de sécurité. Il s’agit donc d’une démonstration expérimentale des capacités du système, et non d’une architecture destinée à la production. Expérimental — structure du protocole RPC de llama.cpp. Exécutez uniquement le worker RPC au sein d’un réseau privé et fiable. Les noms des binaires et les paramètres varient selon les versions de llama.cpp ; consultez donc le README amont pour obtenir les commandes adaptées à votre version.

head node: llama.cpp server with a split GGUF model and an RPC worker endpoint
worker:    llama.cpp RPC server reachable only from the head node
Tokios:    1 connector on the head node, pointed at the head node's /v1 endpoint

Il ne faut en aucun cas exposer un écouteur RPC sur Internet. Ne considérez pas non plus que le protocole RPC soit prêt pour la production simplement parce qu’un modèle peut s’y charger. Pour un service de production fiable, privilégiez un environnement d’exécution doté d’un modèle de service distribué documenté.

Références officielles permettant d’établir des comparaisons

Utilisez les exemples fournis par les éditeurs et les environnements d’exécution pour définir vos attentes, sans pour autant supposer que du matériel moins puissant offre le même niveau de support.

Référence de base	Ce qu’elle permet de définir
Confirmé : 4 fois GB300 grâce à vLLM	La fiche descriptive du modèle 0731 indique précisément la commande de lancement avec DSpark activé.
Confirmé : 4 fois GB300 grâce à SGLang	La fiche descriptive du modèle ainsi que le guide SGLang détaillent le processus de lancement 0731 utilisant le module DSpark intégré.
Historical: 1× MI325X, 4K context	The vLLM recipe validates the earlier preview checkpoint on a 256 GB MI325X. It is useful historical evidence, not 0731 validation.

Validé — référence vLLM actuelle 0731. La fiche technique officielle mentionne l’utilisation de 4× Go300, du parallélisme expert, d’un cache KV en précision FP8, ainsi que du module DSpark fourni :

vllm serve deepseek-ai/DeepSeek-V4-Flash-0731 \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --data-parallel-size 4 \
  --enable-expert-parallel \
  --moe-backend deep_gemm_mega_moe \
  --attention-config '{"use_fp4_indexer_cache": true}' \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}'

Pour les charges de travail d’agents, DeepSeek recommande l’emploi de temperature = 1.0 et de top_p = 0.95. Il convient de conserver ces paramètres de sélectionment séparés des options de démarrage du serveur, puis de les valider via votre propre environnement d’agents.

Procédez aux validations dans cet ordre

Téléchargez le point de contrôle exact et notez sa version.
Chargez-le en utilisant un contexte de 32K et en gérant 1 requêtes simultanées.
Envoyez une requête de discussion courte, une requête longue, ainsi qu’une requête d’appel d’outil si votre charge de travail en nécessite.
Notez la consommation mémoire, la latence du premier jeton, le débit de génération et les éventuelles erreurs.
Augmentez progressivement la taille du contexte jusqu’à atteindre 128K. Répétez ensuite la même charge de travail.
Ce n’est qu’après cela que vous pourrez tester 384K ou 1M, en tenant compte du budget alloué au cache KV et d’un plan de retour en arrière.

Cet ordre permet de distinguer les défaillances liées à la capacité de charge du modèle de celles dues à la saturation du cache, aux problèmes de communication distribuée ou aux incohérences de format d’outil. Il évite également qu’une taille maximale de contexte annoncée ne devienne une promesse non éprouvée en production.

Rendez le nœud principal accessible via Tokios

Tokios requiert un ID de modèle amont stable compatible avec OpenAI, accessible via 1. Au sein d’un cluster, il s’agit du nœud principal, et non de chaque nœud secondaire.

Il convient de maintenir le serveur de modèle sur le nœud principal en accès privé.

Vérifiez que le processus de service répond bien sur l’endpoint loopback /v1 du nœud principal, par exemple http://127.0.0.1:8000/v1. Le trafic entre nœuds secondaires doit rester sur le réseau du cluster.

Associez le connecteur 1 au nœud principal.

Dans l’interface Tokios dashboard, ouvrez Setup puis sélectionnez Start pairing. Installez et lancez tokios-connector sur le nœud principal. Le connecteur effectue des appels sortants ; aucun port entrant n’est nécessaire.

Configurez l’ID de modèle amont sur le nœud principal.

Indiquez dans les paramètres du connecteur que son BaseUrl doit pointer vers l’endpoint local /v1 du nœud principal. Le format de configuration complet est décrit dans Configuration du connecteur.

Enregistrez le déploiement public.

Dans l’interface Models, créez un déploiement tel que deepseek-v4-flash. Rattachez-le à l’ID de modèle amont fourni par le serveur du nœud principal. Les clients utilisent le nom du déploiement, et non l’identifiant Hugging Face.

Générez une clé API à portée restreinte.

Créez une clé sk-tok-… dans Keys, en limitant éventuellement son usage à deepseek-v4-flash. Les clients pourront ensuite utiliser https://api.tokios.com/v1.

Vérification — Requête API Tokios. Cette étape sert à tester l’endpoint compatible OpenAI de Tokios une fois le cluster local opérationnel.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v4-flash",
    "messages": [{"role": "user", "content": "Summarize this deployment's health checks."}]
  }'

Cette commande ne vérifie pas si un cluster DeepSeek donné est en bon état ; effectuez d’abord les contrôles locaux.

Aperçu de la famille DeepSeek

Comparez V4 Flash avec R1 distills ainsi que la gamme V3.

Accès distant à vLLM

Conservez un point de terminaison vLLM /v1 privé et accédez-y via Tokios.

DGX Spark

Configurez et utilisez un DGX Spark grâce à un connecteur.

Station de travail RTX

Sélectionnez et configurez une machine d’inférence locale basée sur RTX.

​Quelles configurations conviennent et dans quelle mesure peut-on s’y fier ?

​Commencez par les calculs de mémoire.

​2 × RTX PRO 6000 Blackwell

​Séquence recommandée

​2 × DGX Spark

​Topologie recommandée

​2 × Strix Halo

​Références officielles permettant d’établir des comparaisons

​Procédez aux validations dans cet ordre

​Rendez le nœud principal accessible via Tokios

Aperçu de la famille DeepSeek

Accès distant à vLLM

DGX Spark

Station de travail RTX

Quelles configurations conviennent et dans quelle mesure peut-on s’y fier ?

Commencez par les calculs de mémoire.

2 × RTX PRO 6000 Blackwell

Séquence recommandée

2 × DGX Spark

Topologie recommandée

2 × Strix Halo

Références officielles permettant d’établir des comparaisons

Procédez aux validations dans cet ordre

Rendez le nœud principal accessible via Tokios