https://api.tokios.com.
Utilisez cette page si vous exécutez des modèles locaux sur du matériel tel que les systèmes NVIDIA GB10 ou DGX Spark, les systèmes AMD Strix Halo ou Ryzen AI Max, les Macs avec puce Apple et une grande mémoire unifiée, les stations de travail GPU, les mini PC ou les serveurs de laboratoire domestique.
Ce que Tokios ajoute
Tokios ne remplace pas votre environnement d’exécution de modèles local. Il se place entre vos clients et le backend que vous faites déjà tourner sur la station de travail.Le matériel concerné par cette page
Tokios est utile lorsque la machine a suffisamment de mémoire et de calcul pour exécuter des modèles locaux, mais que les outils que vous utilisez se trouvent ailleurs : un ordinateur portable, un éditeur, un agent de codage, un notebook, un processus serveur ou le client d’un coéquipier.Configuration recommandée
1
Démarrez le backend local
Lancez votre serveur de modèles sur la station de travail. Tokios fonctionne avec les backends qui exposent une API Chat Completions compatible OpenAI, tels que Ollama, LM Studio, llama.cpp ou vLLM.
2
Installez le connecteur sur la station de travail
Exécutez
tokios-connector sur la même machine, ou sur une machine à proximité qui peut atteindre le backend. Le connecteur compose vers Tokios, donc vous n’avez pas besoin d’ouvrir de ports entrants.3
Enregistrez un déploiement
Associez l’id de modèle amont du backend à un nom de déploiement public tel que
strix-coder, gb10-chat ou local-qwen. Les clients envoient ce nom de déploiement dans le champ model.4
Pointez vos outils vers Tokios
Utilisez
https://api.tokios.com/v1 pour les clients de style OpenAI et https://api.tokios.com pour les clients de style Anthropic.Workflows orientés matériel
Nommage des déploiements
Utilisez des noms qui décrivent le travail, pas seulement le matériel. Cela rend les configurations clients plus faciles à garder stables.Ce qu’il faut mesurer
Les acheteurs de stations de travail IA locales comparent souvent le matériel par taille de modèle ou par jetons par seconde bruts. Pour Tokios, mesurez le workflow que vous prévoyez réellement d’exécuter.
Utilisez Test your deployment pour comparer des déploiements avec le même prompt et le même matériel.
Prochaines étapes
Connect a backend
Configurez Ollama, LM Studio, llama.cpp ou vLLM comme votre upstream local.
Install the connector
Exécutez le connecteur à côté du serveur de modèles de votre station de travail.
Use coding agents
Connectez Claude Code, OpenAI Codex et les clients de codage compatibles.
Test your deployment
Comparez des modèles locaux et des backends via le même point de terminaison Tokios.