model.
Pick the API shape
Utilisez votre cle API Tokios comme cle API du client. Utilisez le nom de deploiement que vous avez enregistre comme nom de modele du client.
Recommended setup path
1
Start with one known-good backend
Lancez d’abord un backend local, tel que Ollama, llama.cpp, vLLM ou LM Studio. Confirmez qu’il sert un point de terminaison
/v1/chat/completions compatible OpenAI avant d’ajouter l’agent de codage.2
Register one deployment
Donnez au deploiement un nom court et stable tel que
qwen-coder-local ou gemma-tunnel. C’est la valeur que l’agent de codage envoie dans le champ model.3
Configure the agent
Definiissez l’URL de base pour le format API utilise par l’agent. Les clients de style OpenAI utilisent generalement
https://api.tokios.com/v1 ; les clients de style Anthropic utilisent https://api.tokios.com.4
Run a small task first
Demandez a l’agent d’expliquer un petit fichier ou de faire un petit changement avant d’envoyer une refonte plus importante. Cela confirme le routage, le streaming et le comportement du modele.
What to compare
Lorsque vous testez des agents de codage avec des modeles locaux, comparez le flux de travail complet plutot que la vitesse brute du modele uniquement.Un modele plus rapide n’est pas toujours le meilleur modele pour le codage. Pour les flux de travail d’agent, le suivi des instructions et la comprehension du depot comptent autant que la vitesse de generation.
Next steps
Use Claude Code
Configurez
ANTHROPIC_BASE_URL et ANTHROPIC_API_KEY.Use OpenAI Codex
Ajoutez Tokios comme fournisseur de modele Codex dans
config.toml.Test your deployment
Comparez la latence, le streaming et le comportement des taches entre les deploiements.
Route multiple models
Conservez un seul point de terminaison et changez de modele avec le champ
model.