https://api.tokios.com.
Utilisez cette page si vous exécutez des modèles locaux sur du matériel tel que les systèmes NVIDIA GB10 ou DGX Spark, les systèmes AMD Strix Halo ou Ryzen AI Max, les Macs dotés de puces Apple et d’une grande quantité de mémoire unifiée, les stations de travail équipées de GPU, les mini PC ou encore les serveurs de laboratoire domestique.
Ce que Tokios apporte
Tokios ne remplace pas votre environnement d’exécution de modèles local. Il se place entre vos clients et le backend que vous faites déjà tourner sur votre station de travail.Le type de matériel concerné par cette page
Tokios s’avère utile lorsque la machine dispose de suffisamment de mémoire et de puissance de calcul pour exécuter des modèles locaux, mais que les outils utilisés se trouvent ailleurs : un ordinateur portable, un éditeur, un agent de codage, un carnet de notes, un processus serveur ou le client d’un collègue.Configuration recommandée
1
Démarrer le backend local
Lancez votre serveur de modèles sur la station de travail. Tokios est compatible avec les backends proposant une API Chat Completions conforme à celle d’OpenAI, tels que Ollama, LM Studio, llama.cpp ou vLLM.
2
Installez le connecteur sur la station de travail
Exécutez
tokios-connector sur la même machine ou sur une machine proche capable de communiquer avec le backend. Le connecteur se connecte automatiquement à Tokios, il n’est donc pas nécessaire d’ouvrir de ports entrants.3
Enregistrer un déploiement
Associez l’ID de modèle amont du backend à un nom de déploiement public tel que
strix-coder, gb10-chat ou local-qwen. Les clients transmettent ce nom de déploiement dans le champ model.4
Configurez vos outils pour qu’ils utilisent Tokios
Utilisez
https://api.tokios.com/v1 pour les clients conformes au format d’OpenAI et https://api.tokios.com pour ceux conformes au format d’Anthropic.Workflows axés sur le matériel
Nommer les déploiements
Privilégiez des noms décrivant la fonctionnalité plutôt que le matériel utilisé. Cela facilite le maintien de la stabilité des configurations clients.Quels éléments évaluer
Les acheteurs de stations de travail d’IA locales comparent souvent le matériel en fonction de la taille du modèle ou du nombre brut de jetons par seconde. Pour Tokios, mesurez le flux de travail que vous prévoyez réellement d’exécuter.
Utilisez Benchmark a Tokios deployment afin de comparer différents déploiements en utilisant le même prompt et le même matériel.
Prochaines étapes
Connectez un connecteur
Configurez Ollama, LM Studio, llama.cpp ou vLLM comme ID de modèle amont local.
Installez le connecteur
Exécutez le connecteur à côté de votre serveur de modèles de poste de travail.
Utilisez des agents de programmation
Connectez Claude Code, OpenAI Codex et d’autres clients de programmation compatibles.
Benchmark d’un déploiement
Comparez les modèles locaux ainsi que les backends via le même point de terminaison Tokios.