https://api.tokios.com, capable de traiter les requêtes OpenAI et Anthropic. Ainsi, Claude Code, un script utilisant le SDK OpenAI ou toute personne que vous invitez peuvent interagir avec le modèle sans avoir à modifier votre routeur.
Une fois le connecteur lancé : le décalage entre les points d’accès
Les utilisateurs de postes de travail RTX — équipés de 5090, 4090, 3090 ou de cartes similaires — font généralement tourner un modèle localement via Ollama, LM Studio,llama.cpp ou vLLM, mais se heurtent ensuite à un problème : utiliser ce modèle depuis un autre appareil.
- Un point d’accès accessible depuis d’autres machines. Par défaut, le moteur de calcul se lie à
127.0.0.1. Pour y accéder depuis un ordinateur portable, un agent de codage ou un poste d’un collègue, il faut le lier à0.0.0.0, rediriger un port sur le routeur domestique ou établir un tunnel — chaque solution nécessitant une configuration spécifique et ne proposant aucune authentification client. - Formats d’API. Claude Code utilise le format Messages d’Anthropic ; Ollama, LM Studio,
llama.cppet vLLM utilisent le format Chat Completions d’OpenAI. Relier ces deux systèmes exige généralement de développer et de maintenir un petit proxy. - Un emplacement stable pour les outils. Changer de moteur de calcul entre Ollama, LM Studio,
llama.cppou vLLM sur la même machine, ou modifier le modèle utilisé, ne devrait pas obliger à reconfigurer chaque client qui s’y connecte.
llama.cpp ou vLLM.
DeepSeek-V4-Flash-0731 is not a typical single-workstation model. A pair of RTX PRO 6000 Blackwell cards has enough 192 GB aggregate VRAM for its weight floor, but this 2-card path is community-validation territory. See DeepSeek V4 Flash local hardware for the runtime and context caveats.Procédez à la configuration sur votre poste de travail
1
Démarrez votre environnement d’exécution sur la station de travail.
Lancez votre serveur de modèles comme d’habitude, par exemple :ou bien via le serveur local de LM Studio, Vérifiez d’abord que le serveur répond via son propre API compatible OpenAI
llama.cpp, ou vLLM :/v1 avant d’ajouter le connecteur.2
Obtenez un code d’autorisation et associez-le au connecteur.
Dans le dashboard, ouvrez l’onglet Setup et sélectionnez Start pairing afin de recevoir un code d’autorisation unique de forme Sur Linux :De retour sur le tableau de bord, validez l’appareil dans l’onglet Setup ou Connectors. Le token du connecteur est transmis via le tunnel ; vous n’aurez jamais à le copier dans un fichier.
TKS-XXXX-XXXX (valable environ 15 minutes).Sur Windows (PowerShell) :3
Indiquez au connecteur l’adresse de l’endpoint /v1 de votre environnement d’exécution.
Le connecteur se connecte à l’API compatible OpenAI du runtime sur la station de travail, et non à un port redirigé sur le routeur. Les ports par défaut sont : Ollama
11434, LM Studio 1234, llama.cpp 8080, vLLM 8000 (tous avec /v1 ajouté ; pour Ollama, utilisez son API compatible OpenAI /v1 et non l’API native /api). Aucune règle de pare-feu ou redirection de port n’est nécessaire : le connecteur ne fait que des appels sortants.4
Enregistrez un déploiement.
Dans l’onglet Models, associez votre ID de modèle amont à un nom de déploiement public tel que
rtx-coder. Les clients transmettent ce nom de déploiement dans le champ model, et non l’ID amont.5
Créer une clé API
Dans l’onglet Keys, créez une clé. Il s’agit de jetons Bearer de type
sk-tok-… affichés une seule fois, et ils peuvent être limités à certains modèles selon des motifs de noms de déploiement.L’utiliser depuis votre ordinateur portable ou un agent
Une fois le connecteur appairé et un déploiement enregistré, orientez votre client vers Tokios plutôt que vers l’adresse réseau locale de votre poste de travail.Le sélecteur de modèles de Claude Code ne liste que les IDs
claude* ; par conséquent, votre déploiement Tokios ne figurera pas dans la liste — il faut donc spécifier --model rtx-coder manuellement.Quelle taille de modèle puis-je exécuter ?
La quantité de VRAM disponible détermine quelles tailles et quelles quantisations de modèles sont réalisables sur un 5090, un 4090 ou un 3090 ; il s’agit là d’une question matérielle et non liée à Tokios. Consultez Choisir un modèle local pour des indications sur les dimensions adéquates, ainsi que Évaluer un déploiement Tokios pour comparer la latence et le débit entre différents déploiements une fois le trafic acheminé via Tokios.Pourquoi un seul point de terminaison ?
- Permutez les backends sans modifier la configuration cliente. Vous pouvez ainsi passer d’Ollama à LM Studio ou vLLM sur le même ordinateur ; tous les agents et scripts ciblant déjà
rtx-codercontinueront de fonctionner, car seul le modèle amont du connecteur est modifié, et non le client. - Aucun port entrant sur un PC de jeu domestique. Le connecteur ne crée que des connexions sortantes, il n’est donc pas nécessaire de rediriger un port sur votre routeur, de lier le moteur d’exécution à
0.0.0.0ou de gérer un tunnel pour y accéder depuis un ordinateur portable ou un agent de programmation. - Clés d’accès limitées plutôt qu’une adresse de liaison commune. Vous pouvez attribuer à un collègue une clé API restreinte à certains schémas de déploiement, sans avoir à ouvrir le port du moteur d’exécution à l’ensemble du réseau.
Prochaines étapes
Guide de démarrage rapide
Mettez en place un connecteur, un déploiement et une clé API en quelques instants.
Installation du connecteur
Référence complète pour l’installation et le couplage du connecteur sur toutes les plateformes.
Utilisation de Claude Code
Configuration détaillée de
ANTHROPIC_BASE_URL et ANTHROPIC_API_KEY.Référence de configuration du connecteur
Diffusez plusieurs modèles depuis une seule station de travail grâce à
tokios-connector.json.