Passer au contenu principal
LibreChat accède aux API compatibles OpenAI via des points de terminaison personnalisés définis dans librechat.yaml. Ajoutez une entrée sous endpoints.custom avec baseURL défini sur https://api.tokios.com/v1, apiKey défini sur votre clé sk-tok-…, et models listant le nom de votre déploiement Tokios — et LibreChat pourra discuter avec votre modèle local sans que le port de ce modèle ne soit jamais exposé.

​
Prérequis

Avant de modifier librechat.yaml, préparez les éléments suivants :

Connecteur appairé

Installez et appairez tokios-connector à côté de votre modèle.

Modèle enregistré

Enregistrez un déploiement (nom public) pour le modèle que vous souhaitez que LibreChat voie.

Clé API créée

Créez une clé sk-tok-…, éventuellement limitée à ce déploiement.

Backends pris en charge

Confirmez que votre backend local (Ollama, llama.cpp, vLLM, LM Studio) est en cours d’exécution.

​
Ajouter Tokios en tant que point de terminaison personnalisé

1

Ouvrir librechat.yaml

Ouvrez (ou créez) le fichier de configuration librechat.yaml de LibreChat à la racine de votre déploiement LibreChat. Le chemin par défaut exact peut varier selon la version — vérifiez le vôtre.
2

Ajouter une entrée de point de terminaison personnalisé

Sous endpoints.custom, ajoutez un bloc pour Tokios avec baseURL pointant vers Tokios et models.default défini sur votre nom de déploiement public — par exemple, gemma-tunnel :
models.default doit lister le(s) nom(s) de déploiement que vous avez enregistrés dans l’onglet Models, et non votre identifiant de modèle local Ollama, llama.cpp, vLLM ou LM Studio. Les noms exacts des clés YAML et l’imbrication peuvent changer entre les versions de LibreChat, donc confirmez les clés par rapport à votre installation.
3

Fournir la clé API en tant que variable d'environnement

Définissez TOKIOS_API_KEY (ou le nom de variable que vous avez référencé ci-dessus) sur votre clé sk-tok-… dans le fichier .env de LibreChat, plutôt que de coller la clé directement dans librechat.yaml :
.env
4

Redémarrer LibreChat

Redémarrez le serveur LibreChat afin qu’il recharge librechat.yaml. Le point de terminaison Tokios devrait maintenant apparaître dans le sélecteur de points de terminaison de LibreChat.
N’engagez jamais une vraie clé sk-tok-… dans librechat.yaml ou dans le contrôle de version. Référencez-la depuis une variable d’environnement à la place.

​
Vos modèles proviennent de votre liste de modèles

Les points de terminaison personnalisés de LibreChat ne découvrent pas automatiquement les déploiements comme le font certains clients — le champ models dans votre bloc librechat.yaml est la source de vérité pour ce qui s’affiche dans le sélecteur. Listez chaque déploiement Tokios que vous souhaitez rendre disponible sous models.default. Si votre version de LibreChat prend en charge la récupération dynamique des modèles pour les points de terminaison personnalisés, elle le fait en appelant GET /v1/models contre votre baseURL. Tokios implémente /v1/models et retourne les déploiements auxquels votre clé est limitée, donc une configuration basée sur la récupération fonctionne aussi — consultez la documentation de la version actuelle pour le bascule exact (par exemple models.fetch) et le comportement.

​
Interface hébergée, modèle domestique

La configuration courante que cela résout : vous exécutez LibreChat sur un VPS ou un hôte de conteneurs, et vous voulez qu’il accède à un modèle qui réside sur votre machine domestique ou votre poste de travail, sans exposer le port de cette machine à Internet. Parce que le connecteur Tokios ne compose que vers l’extérieur depuis la machine exécutant votre modèle, vous n’avez pas besoin de :
  • Lier votre backend à 0.0.0.0 (par exemple OLLAMA_HOST=0.0.0.0) juste pour qu’une instance LibreChat distante puisse l’atteindre.
  • Ouvrir un port entrant ou percer un trou dans votre routeur ou pare-feu domestique.
  • Configurer un VPN ou un proxy inverse entre les deux machines.
LibreChat, où qu’il soit hébergé, communique avec https://api.tokios.com/v1, authentifié avec votre clé sk-tok-…. Tokios achemine la requête via le tunnel vers le connecteur exécuté à côté de votre modèle, qui reste sur localhost en permanence.

​
Dépannage

Confirmez que librechat.yaml se trouve dans le chemin attendu par LibreChat (le chemin exact de découverte de la configuration varie selon la version) et que vous avez redémarré le serveur après l’avoir modifié.
La clé API envoyée par LibreChat est manquante, mal formée ou a été révoquée. Confirmez que la variable d’environnement référencée par apiKey contient la clé complète sk-tok-… sans espace supplémentaire, et vérifiez son statut dans l’onglet Keys.
La clé existe mais n’est pas limitée au déploiement que vous avez listé dans models, ou votre compte est suspendu. Vérifiez les motifs de modèle de la clé dans l’onglet Keys.
La valeur de modèle envoyée par LibreChat ne correspond pas à un déploiement enregistré. Confirmez qu’elle correspond exactement au nom public dans l’onglet Models — et non à votre identifiant de modèle local Ollama/llama.cpp/vLLM/LM Studio.
Le connecteur pour ce déploiement est hors ligne ou a atteint sa limite de concurrence. Vérifiez l’onglet Connectors — le connecteur doit afficher Online, et la machine qui l’exécute doit toujours être allumée et accessible.

​
Maintenant, mettez-le au travail partout ailleurs

Une fois que LibreChat communique avec votre modèle via Tokios, le même déploiement et la même clé fonctionnent depuis n’importe quel autre client compatible OpenAI ou Anthropic — sans configuration supplémentaire par client.

Clients compatibles

Consultez les paramètres d’URL de base et de clé pour d’autres clients.

Clés API

Créez des clés limitées séparées pour les membres de l’équipe utilisant la même instance LibreChat.