Tester votre déploiement

Utilisez ce guide pour comparer deux déploiements Tokios ou plus. Gardez le test simple au départ : même prompt, même client, même matériel, mêmes paramètres backend. Changez uniquement le nom du déploiement dans le champ model.

Prerequisites

Un connecteur en fonctionnement. Voir Connector install.
Un ou plusieurs déploiements enregistrés. Voir Register Model.
Une clé API Tokios. Voir API Keys.
Un backend local qui fonctionne avant que Tokios ne soit impliqué. Voir Backends.

Test a basic request

Commencez par une petite requête non-streaming. Remplacez la clé et le modèle par vos propres valeurs.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "coder-local",
    "messages": [
      { "role": "user", "content": "Reply with one short sentence." }
    ]
  }'

Cela confirme l’authentification, le routage du déploiement, la connectivité du connecteur et la gestion des réponses du backend.

Test streaming

Ensuite, testez le comportement du streaming. C’est plus proche de ce que ressentent de nombreux agents de code et outils de chat en pratique.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "coder-local",
    "stream": true,
    "messages": [
      { "role": "user", "content": "Write a five item checklist for reviewing a pull request." }
    ]
  }'

Si le streaming se bloque, vérifiez le backend local directement, puis vérifiez les logs du connecteur et l’URL de base du client.

Compare two deployments

Utilisez le même corps de requête et changez uniquement model.

# First deployment
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"coder-local","messages":[{"role":"user","content":"Explain this function in plain English."}]}'

# Second deployment
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"fast-draft","messages":[{"role":"user","content":"Explain this function in plain English."}]}'

Notez le résultat dans un petit tableau :

Deployment	Time to first output	Total time	Quality notes	Errors
`coder-local`
`fast-draft`

Test with your actual client

Une fois que curl fonctionne, testez via le client que vous prévoyez d’utiliser.

Client type	What to test
Claude Code	A small one-shot prompt with `--model your-deployment`
OpenAI Codex	A short repository question using the Tokios profile
SDK app	One request from the same code path your app will use
Chat UI	A short prompt and one longer streaming response

Interpret the results

N’optimisez pas pour un seul chiffre. Un déploiement qui stream rapidement mais échoue aux tâches de code peut être pire qu’un modèle plus lent qui suit les instructions de manière fiable.

Signal	What it may mean
Slow first token	Backend loading, large prompt, cold model, or hardware limits
Fast tokens but poor answers	Model may not fit the workflow
Works in `curl` but not in a client	Base URL, API shape, or model field mismatch
Works locally but not through Tokios	Connector, deployment, or API key issue

Gardez votre meilleur nom de déploiement stable. Si vous le déplacez plus tard vers un backend plus rapide ou une machine différente, les clients peuvent continuer à utiliser la même valeur model.

Matériel et compatibilité

Servir et connecter votre runtime

Connecter un client ou une app

Comparer

Tester votre déploiement

Prerequisites

Test a basic request

Test streaming

Compare two deployments

Test with your actual client

Interpret the results

​Prerequisites

​Test a basic request

​Test streaming

​Compare two deployments

​Test with your actual client

​Interpret the results

Prerequisites

Test a basic request

Test streaming

Compare two deployments

Test with your actual client

Interpret the results