Sélectionnez un modèle local ainsi qu’un backend

Consultez ce guide avant de procéder à votre premier déploiement ou lorsque vous souhaitez comparer plusieurs modèles locaux. Tokios ne choisit pas le modèle à votre place ; il attribue à chaque modèle local un nom de déploiement stable que les clients peuvent utiliser.

Vous avez choisi un modèle et un backend ? Enregistrez votre premier déploiement avec Tokios — 1 point de terminaison authentifié à https://api.tokios.com, environ 5 minutes.

Commencez par le flux de travail

Flux de travail	Optimisation	Vérification de base
Agents de codage	Respect des instructions, raisonnement sur les dépôts, stabilité du streaming	Demandez à l’agent d’inspecter et de modifier un petit projet
Applications de chat	Latence faible et réponses utiles	Envoyez des invites courtes et comparez le temps nécessaire pour obtenir le premier jeton
Expérimentations avec les SDK	Compatibilité API et réponses prévisibles	Exécutez la même requête depuis `curl` et votre SDK
Point de terminaison local partagé	Stabilité et noms de déploiement clairs	Enregistrez un déploiement par ID de modèle amont et testez `/v1/models`

Choisissez un backend

Tokios transmet les requêtes à un backend proposant une API de complétions de chat compatible OpenAI. Commencez par le backend que vous utilisez déjà. Si vous débutez, optez pour l’option la plus simple selon votre système d’exploitation et votre matériel.

Backend	Cette approche s’avère souvent utile dans certaines situations…	Base par défaut pour l’ID de modèle amont de Tokios
Ollama	Lorsque vous souhaitez mettre en place rapidement un modèle local en privilégiant l’interface en ligne de commande	`http://127.0.0.1:11434/v1`
LM Studio	Lorsque vous préférez utiliser une application de bureau et gérer vos modèles de façon visuelle	`http://127.0.0.1:1234/v1`
llama.cpp	Lorsque vous exécutez directement des modèles au format GGUF	`http://127.0.0.1:8080/v1`
vLLM	Lorsque vous avez besoin d’un environnement d’exécution GPU orienté serveur	`http://127.0.0.1:8000/v1`

Consultez la page Backends pour découvrir des exemples de configurations actuelles.

Nommez vos déploiements afin de faciliter leur identification par les clients

L’ID de modèle que votre backend utilise ne doit pas forcément correspondre au nom que vos clients voient. Attribuez à chaque déploiement Tokios un nom court et explicite qui décrit sa fonction.

ID de modèle amont	Nom du déploiement	Pourquoi cela est utile
`qwen2.5-coder`	`coder-local`	Les agents de codage peuvent conserver un paramétrage de modèle stable
`gemma4:e4b`	`chat-local`	Les clients de chat n’ont pas besoin de connaître l’ID du backend
`mistral-small`	`fast-draft`	Vous pouvez indiquer l’usage prévu via le nom du déploiement
`muse-glimmer:30b-q4_K_M`	`agent-local`	Cela permet aux clients agents de continuer à utiliser le même nom même si vous modifiez ultérieurement les étiquettes de quantification

Veillez à maintenir la stabilité des noms de déploiement. Si vous déplacez un modèle vers un autre backend ou une autre machine, mettez à jour la route du déploiement ou du connecteur plutôt que de modifier chaque client.

Comparez les modèles avec soin

Modifiez une seule chose à la fois. Lors de la comparaison de deux déploiements, conservez le même prompt, les mêmes paramètres clients et backend ainsi que le même matériel. Notez à la fois la vitesse et la qualité des réponses.

Métrique	Comment l’utiliser
Temps jusqu’au premier jeton	Mesure la rapidité avec laquelle une requête commence à produire des résultats
Jeton par seconde	Évalue la vitesse de génération une fois que les résultats apparaissent
Durée totale de la tâche	Ce critère est particulièrement important pour les agents de programmation et les flux de travail à plusieurs étapes
Qualité de la réponse	Indique si le modèle a réellement accompli la tâche demandée
Stabilité	Permet de détecter les redémarrages du backend, les délais d’expiration et les échecs de diffusion en continu

Pour effectuer des tests reproductibles, utilisez Test your deployment.

Premiers pas

Modèles

Concepts

Référence

Sélectionnez un modèle local ainsi qu’un backend

Commencez par le flux de travail

Choisissez un backend

Nommez vos déploiements afin de faciliter leur identification par les clients

Comparez les modèles avec soin

​Commencez par le flux de travail

​Choisissez un backend

​Nommez vos déploiements afin de faciliter leur identification par les clients

​Comparez les modèles avec soin

Commencez par le flux de travail

Choisissez un backend

Nommez vos déploiements afin de faciliter leur identification par les clients

Comparez les modèles avec soin