deepseek-ai/DeepSeek-V4-Flash-0731 ; n’utilisez la distillation R1 qu’en cas d’impossibilité d’exécuter le poids V4 sur votre matériel.
Associez chaque tâche à une famille de modèles
Actuellement, Tokios ne propose pas de fonctionnalités d’encodage vectoriel via son passerelle ; son interface API ne couvre que les points de terminaison de chat et de messagerie. La section consacrée aux encodages vectoriels ci-dessus sert uniquement à sélectionner un modèle à exécuter localement avec votre propre backend, sans passer par un déploiement Tokios.
Sélection d’un modèle adapté aux agents
Les agents de codage et autres clients utilisant des outils sont plus exigeants qu’une interface de chat classique. Trois critères doivent être pris en compte :- Appel natif d’outils/fonctions. Les boucles d’agents reposent sur la capacité du modèle à renvoyer des appels d’outils structurés que le client peut interpréter. Actuellement,
DeepSeek-V4-Flash-0731représente l’option DeepSeek recommandée pour ce type de charge de travail. Testez-le avec le moteur de service, le niveau de raisonnement et le format de codage de chat que vous comptez utiliser. - Fenêtre de contexte d’au moins 32 à 64K jetons, de préférence 128K ou davantage. Les agents accumulent tour à tour le contenu des fichiers, les différences et les résultats d’outils ; une fenêtre de contexte réduite se remplit donc très vite. Prévoyez suffisamment de mémoire VRAM pour le cache KV à la longueur de contexte souhaitée, en plus des poids du modèle — consultez Adapter un modèle à votre GPU ou mémoire unifiée.
- Capacité à suivre les instructions, sortie structurée et licence permissive. Les familles de modèles sous licence Apache-2.0 telles que
Qwen3etgpt-ossfacilitent grandement l’adoption sans contraintes juridiques.
Adapter le modèle à votre matériel
Choisir la bonne famille de modèles ne suffit pas : le modèle doit également tenir dans la VRAM ou la mémoire unifiée disponible, à la longueur de contexte requise. Consultez Adapter un modèle à votre GPU ou mémoire unifiée pour obtenir des estimations selon le nombre de paramètres et le niveau de quantification. Pour les aspects liés au workflow, au backend et à la désignation du déploiement — c’est-à-dire quel backend exécuter et comment nommer le déploiement après enregistrement — reportez-vous à Choisir un modèle local et un backend.Une fois le modèle sélectionné
Tokios ne sélectionne pas le modèle à votre place ; il vous fournit simplement un point de terminaison de déploiement stable que vous pouvez interroger depuis n’importe où.Enregistrez votre déploiement
Transformez le modèle de votre choix en un déploiement Tokios doté d’un nom public et d’une clé API.
Comparez les candidats
Évaluez plusieurs déploiements simultanément afin de choisir celui qui convient le mieux à vos besoins.