Skip to main content
Un local LLM (également appelé self-hosted LLM) est un modèle à poids ouverts que vous exécutez sur votre propre matériel — ordinateur portable, carte graphique de station de travail, Mac ou serveur domestique — plutôt que de recourir à une API hébergée hors de votre contrôle. Cette section présente les familles de modèles adaptées à un déploiement local ainsi que les critères de sélection. Tokios ne sélectionne ni n’héberge ni ne met au point les modèles. Vous choisissez et exécutez le modèle localement ; Tokios transforme alors ce dernier en un point de terminaison sécurisé et stable accessible à https://api.tokios.com par tout client compatible OpenAI ou Anthropic, sans besoin de ports entrants ni de VPN.

Comment procéder en trois étapes

1

Déterminez la tâche à accomplir

Agent de programmation, chat général, raisonnement, traitement d’images ou exécution sur CPU/appareils embarqués ? La nature de la tâche permet d’affiner rapidement le choix de la famille de modèles. Consultez Quel modèle local convient à quelle tâche ? pour une analyse détaillée par type de tâche incluant les critères propres aux agents.
2

Vérifiez la compatibilité avec votre matériel

Un modèle ne sera utile que s’il tient dans votre VRAM ou votre mémoire unifiée pour la longueur de contexte requise. Consultez Quelle taille de modèle convient à votre GPU ? pour les calculs de dimensionnement, ainsi que Quantification afin d’ajuster la taille et la qualité du modèle.
3

Examinez la licence

Les licences varient grandement : Apache-2.0 et MIT sont très permissives ; d’autres (Llama Community, Gemma, NVIDIA Open Model License) imposent des conditions spécifiques. Consultez Comment lire une fiche technique de modèle pour savoir quels éléments vérifier avant d’utiliser un modèle.

Les familles de modèles et leur état actuel

Chaque famille dispose d’une page dédiée présentant les étiquettes, les tailles, les tableaux de compatibilité matérielle ainsi que les instructions de configuration. Les versions des modèles évoluent rapidement ; ce tableau sert de point de départ, il convient de consulter chaque page pour connaître la version en cours.
Le terme « actuel » désigne la dernière version à poids ouverts que l’on peut télécharger et exécuter soi-même. Certaines versions actuelles exigent toutefois un matériel multi-GPU, notamment DeepSeek-V4-Flash-0731, GLM-5.2 ainsi que les modèles MoE de grande envergure Kimi et MiniMax. Chaque page de famille de modèles précise ce qui est disponible à téléchargement, ce qui nécessite un serveur, et ce qui reste en attente.
Recherchez-vous un modèle de pointe que vous puissiez tout de même héberger sur votre propre matériel ? Le document DeepSeek-V4-Flash-0731 sur le matériel local compare les options suivantes : 2 fois plus de RTX PRO 6000, 2 fois plus de DGX Spark, et 2 fois plus de Strix Halo, en tenant compte du degré de maturité de leur prise en charge ainsi que des limites de mémoire.

Choisissez selon votre besoin

Chat général et agents

Qwen3.6, Llama, Gemma ainsi que gpt-oss figurent parmi les modèles polyvalents les plus performants. Qwen3.8-27B constitue la toute dernière version de Qwen (disponible uniquement via vLLM et SGLang pour l’instant) ; Qwen3.6 représente la solution la plus simple et éprouvée, tandis que Muse Glimmer est le choix idéal pour les agents, pouvant s’exécuter en permanence sur une carte mémoire de 24 Go.

Programmation

Qwen3-Coder, Devstral de Mistral et GLM sont conçus pour la programmation à grande échelle et l’utilisation d’agents.

Raisonnement et agents

Commencez par DeepSeek-V4-Flash-0731 pour la version actuelle destinée au raisonnement, à la programmation et à l’appel d’outils de DeepSeek. Recourrez à R1 distills si vous disposez de matériel moins puissant.

Vision et multimédia

Qwen3-VL et Gemma 4 sont capables de lire du texte, des images ainsi que des vidéos — commencez par Qwen3-VL.

Modèles petits, pour périphériques ou processeurs CPU

Les modèles E2B de Gemma, Phi-4-mini, Granite ainsi que Ministral de Mistral peuvent être exécutés sur des ordinateurs portables et des boîtiers embarqués.

Formats et matériel

Le format de poids — GGUF, MLX, NVFP4 ou AWQ — qui convient à votre GPU ou à votre Mac.

Une fois votre choix effectué

Tokios ne sélectionne pas le modèle à votre place ; il fournit simplement un point de terminaison stable et authentifié pour tout modèle que vous exécutez, utilisable depuis n’importe où.

Démarrage rapide

Associez un connecteur, enregistrez un déploiement et créez votre première clé API dans un processus complet.

Choisissez un modèle et un backend

Associez un modèle à votre flux de travail, à votre backend ainsi qu’à la désignation de votre déploiement.