Évaluer un déploiement Tokios

Utilisez ce guide pour comparer deux déploiements Tokios ou plus. Commencez par un test simple : même invite, même client, même matériel, mêmes paramètres du backend. Modifiez uniquement le nom du déploiement dans le champ model.

Prérequis

Un connecteur en cours d’exécution. Voir Installation du connecteur.
Un ou plusieurs déploiements enregistrés. Voir Enregistrer un modèle.
Une clé API Tokios. Voir Clés API.
Un backend local qui fonctionne avant que Tokios ne soit impliqué. Voir Backends.

Tester une requête de base

Commencez par une petite requête non-streaming. Remplacez la clé et le modèle par vos propres valeurs.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "coder-local",
    "messages": [
      { "role": "user", "content": "Reply with one short sentence." }
    ]
  }'

Cela confirme l’authentification, le routage du déploiement, la connectivité du connecteur et la gestion des réponses du backend.

Tester le streaming

Testez ensuite le comportement du streaming. Cela se rapproche davantage de la façon dont de nombreux agents de codage et outils de chat fonctionnent en pratique.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "coder-local",
    "stream": true,
    "messages": [
      { "role": "user", "content": "Write a five item checklist for reviewing a pull request." }
    ]
  }'

Si le streaming se bloque, vérifiez directement le backend local, puis consultez les journaux du connecteur et l’URL de base du client.

Comparer deux déploiements

Utilisez le même corps de requête et modifiez uniquement model.

# First deployment
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"coder-local","messages":[{"role":"user","content":"Explain this function in plain English."}]}'

# Second deployment
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"fast-draft","messages":[{"role":"user","content":"Explain this function in plain English."}]}'

Enregistrez le résultat dans un petit tableau :

Déploiement	Temps jusqu’à la première sortie	Temps total	Notes sur la qualité	Erreurs
`coder-local`
`fast-draft`

Tester avec votre client réel

Après que curl ait fonctionné, testez via le client que vous prévoyez d’utiliser.

Type de client	Ce qu’il faut tester
Claude Code	Une petite invite one-shot avec `--model your-deployment`
OpenAI Codex	Une question courte sur un référentiel en utilisant le profil Tokios
Application SDK	Une requête depuis le même chemin de code que votre application utilisera
Interface de chat	Une courte invite et une réponse streaming plus longue

Interpréter les résultats

Ne vous optimisez pas pour un seul chiffre. Un déploiement qui stream rapidement mais échoue aux tâches de codage peut être pire qu’un modèle plus lent qui suit les instructions de manière fiable.

Signal	Ce que cela peut signifier
Premier jeton lent	Chargement du backend, grande invite, modèle froid ou limites matérielles
Jetons rapides mais mauvaises réponses	Le modèle peut ne pas convenir au flux de travail
Fonctionne dans `curl` mais pas dans un client	Incompatibilité d’URL de base, de forme API ou de champ de modèle
Fonctionne localement mais pas via Tokios	Problème de connecteur, de déploiement ou de clé API

Gardez votre meilleur nom de déploiement stable. Si vous le déplacez plus tard vers un backend plus rapide ou une machine différente, les clients peuvent continuer à utiliser la même valeur model.

Matériel et compatibilité

Servir et connecter votre runtime

Connecter un client ou une app

Comparer

Évaluer un déploiement Tokios

Prérequis

Tester une requête de base

Tester le streaming

Comparer deux déploiements

Tester avec votre client réel

Interpréter les résultats

​Prérequis

​Tester une requête de base

​Tester le streaming

​Comparer deux déploiements

​Tester avec votre client réel

​Interpréter les résultats

Prérequis

Tester une requête de base

Tester le streaming

Comparer deux déploiements

Tester avec votre client réel

Interpréter les résultats