https://api.tokios.com/v1 en utilisant votre clé API sk-tok-… ainsi que le nom de déploiement enregistré ; ainsi, chaque application pourra solliciter votre modèle local, sans besoin de host.docker.internal, de redirection de port ni de VPN.
Prérequis
Installez et appairez le connecteur
Lancez
tokios-connector à côté de votre modèle puis validez-le dans la console.Enregistrez un déploiement
Donnez à votre modèle un nom public, par exemple
gemma-tunnel ; il s’agit de la valeur model transmise par les clients.Créez une clé API
Générez une clé
sk-tok-… dans l’onglet Keys, en limitant éventuellement son utilisation à ce déploiement.Vérifiez que votre infrastructure est prise en charge
Ollama, llama.cpp, vLLM et LM Studio fonctionnent tous via le connecteur.
Tokios met en œuvre
GET /v1/models et normalise l’interface API d’OpenAI, de sorte que lorsque AnythingLLM ou Dify valide le fournisseur (en listant les modèles et en vérifiant l’endpoint), cette validation s’effectue de la même manière qu’avec OpenAI lui-même.Ajouter Tokios en tant que fournisseur
- AnythingLLM
- Dify
1
Paramètres du fournisseur de modèles linguistiques ouverts
Dans AnythingLLM, accédez à Settings → LLM Provider puis sélectionnez Generic OpenAI dans la liste des fournisseurs. Le chemin de menu exact et l’intitulé du fournisseur peuvent varier selon la version — vérifiez la vôtre.
2
Définir l’URL de base
Dans Base URL, saisissez :
3
Définir la clé API
Dans API Key, collez votre clé Tokios :
4
Définir le nom du modèle
Dans Model name (également appelé Chat Model Name dans certaines versions d’AnythingLLM), indiquez le nom de votre déploiement Tokios, par exemple
gemma-tunnel — et non l’ID de modèle amont utilisé localement par votre backend.5
Définir le nombre de tokens / la taille de la fenêtre de contexte
Renseignez le champ Token context window afin qu’il corresponde à la longueur de contexte de votre modèle ; l’intitulé exact du champ varie selon les versions, et certaines versions exigent cette valeur pour enregistrer le fournisseur.
6
Enregistrer et tester
Enregistrez le fournisseur puis envoyez un message depuis un espace de travail afin de vérifier qu’AnythingLLM parvient à joindre votre modèle via Tokios.
Plus besoin de configurer host.docker.internal
AnythingLLM et Dify s’exécutent généralement sous Docker, tandis que votre modèle tourne souvent sur une machine ou un conteneur distinct de l’application. Cette séparation pose problème dans la plupart des configurations auto‑hébergées : localhost ne parvient pas à joindre l’hôte depuis un conteneur, host.docker.internal ne fonctionne pas de la même manière sur toutes les plateformes, et un modèle situé sur une autre machine exige un redirectionnement de port ou un accès VPN.
En indiquant https://api.tokios.com/v1 à AnythingLLM ou Dify, ce problème disparaît complètement. Le point de terminaison reste public et stable, quelle que soit la plateforme, le conteneur ou le réseau utilisé par l’application ; seul le connecteur associé à votre modèle doit disposer d’un accès sortant, sans jamais ouvrir de port entrant.
Une fois la connexion établie
Votre modèle devient accessible depuis AnythingLLM ou Dify, où qu’ils soient exécutés. Le même déploiement et la même clé API fonctionnent également avec tout autre client compatible OpenAI ou Anthropic.Clients compatibles
Consultez la liste complète des clients pris en charge par Tokios ainsi que l’URL de base requise pour chacun d’eux.
Clés API
Créez une clé API à portée limitée pour chaque application ou collaborateur, puis révoquez l’accès sans avoir à modifier le connecteur.