model.
Choisir le format API
Utilisez votre clé API Tokios comme clé API du client. Utilisez le nom du déploiement que vous avez enregistré comme nom de modèle du client.
Chemin de configuration recommandé
1
Commencez par un seul backend fiable
Exécutez d’abord un seul backend local, tel que Ollama, llama.cpp, vLLM ou LM Studio. Confirmez qu’il sert un point de terminaison
/v1/chat/completions compatible OpenAI avant d’ajouter l’agent de codage.2
Enregistrez un déploiement
Donnez au déploiement un nom court et stable, tel que
qwen-coder-local ou gemma-tunnel. C’est la valeur que l’agent de codage envoie dans le champ model.3
Configurez l'agent
Définissez l’URL de base pour le format API que l’agent utilise. Les clients de style OpenAI utilisent généralement
https://api.tokios.com/v1 ; les clients de style Anthropic utilisent https://api.tokios.com.4
Exécutez d'abord une petite tâche
Demandez à l’agent d’expliquer un petit fichier ou d’apporter un changement mineur avant d’envoyer une refonte plus importante. Cela confirme le routage, le streaming et le comportement du modèle.
Ce qu’il faut comparer
Lorsque vous testez des agents de codage avec des modèles locaux, comparez le flux de travail complet plutôt que uniquement la vitesse brute du modèle.Un modèle plus rapide n’est pas toujours le meilleur modèle de codage. Pour les flux de travail d’agent, le suivi des instructions et la compréhension du référentiel sont aussi importants que la vitesse de génération.
Étapes suivantes
Utiliser Claude Code
Configurez
ANTHROPIC_BASE_URL et ANTHROPIC_API_KEY.Utiliser OpenAI Codex
Ajoutez Tokios comme fournisseur de modèle Codex dans
config.toml.Évaluer les performances de votre déploiement
Comparez la latence, le streaming et le comportement des tâches entre les déploiements.
Router plusieurs modèles
Conservez un seul point de terminaison et changez de modèle avec le champ
model.