Skip to main content
The Tokios Connector forwards to any model server that exposes an OpenAI-compatible Chat Completions API (/v1/chat/completions) on your machine. Ollama, llama.cpp, vLLM, and LM Studio all do. The gateway translates each incoming request to Chat Completions and sends it down the tunnel; the connector forwards it to the upstream BaseUrl you set in tokios-connector.json. Point the connector at your server by setting that BaseUrl — including the /v1 segment.
Veillez toujours à inclure /v1 dans l’URL BaseUrl, et utilisez l’endpoint compatible OpenAI de votre connecteur. Pour Ollama, il s’agit de l’API /v1 et non de l’endpoint natif /api.
Débutant en matière de modèles locaux ? Commencez par les solutions les plus simples à mettre en œuvre : Ollama (une seule commande) ou LM Studio (une application de bureau intuitive). vLLM et SGLang offrent des performances élevées sur GPU mais nécessitent une configuration plus poussée — à utiliser une fois que vous maîtrisez les bases et souhaitez accroître le débit.

​
Facilité de configuration

Quel que soit votre choix, Tokios s’y connecte de la même manière ; définissez l’ID de modèle amont BaseUrl (avec /v1) et vous obtiendrez un point de terminaison unique.
Cette liste n’est pas exhaustive. Le connecteur transmet les requêtes à n’importe quel serveur proposant une API Chat Completions compatible OpenAI à une URL de base /v1 ; ainsi SGLang, Xinference, TGI, LocalAI et d’autres fonctionnent également. Ollama, llama.cpp, vLLM et LM Studio sont simplement les solutions les plus documentées ici.
Jan peut aussi fonctionner en tant que client ; au lieu de servir un modèle localement, il peut interroger un modèle plus volumineux hébergé ailleurs via Tokios. Consultez Utiliser Jan avec un modèle sur votre propre matériel.

​
Ports par défaut

Placez le fichier Upstream correspondant dans votre tokios-connector.json (voir Configuration du connecteur pour le fichier complet) :
L’identifiant du modèle utilisé par votre serveur (pour Ollama, celui que vous définissez ollama run) doit figurer dans les champs Models et Routes du connecteur. Lorsque vous enregistrez un déploiement, vous attribuez un nom d’API public.

​
Détails du backend

​
Ollama

Modèle amont : http://127.0.0.1:11434/v1 Ollama propose une API compatible OpenAI à l’adresse /v1 sur le port 11434. Téléchargez et lancez d’abord votre modèle ; l’identifiant que vous indiquez à Ollama correspond à l’ID de modèle amont que le connecteur met à disposition :

​
llama.cpp

Modèle amont : http://127.0.0.1:8080/v1 Exécutez le serveur compatible OpenAI fourni, llama-server. Il écoute par défaut sur le port 8080 et propose les fonctionnalités suivantes /v1 :

​
vLLM

Modèle amont : http://127.0.0.1:8000/v1 Le serveur compatible OpenAI de vLLM écoute sur le port 8000. Lancez-le via la commande suivante :

​
LM Studio

Modèle amont : http://127.0.0.1:1234/v1 LM Studio intègre un serveur compatible OpenAI :
  1. Ouvrez LM Studio et accédez à l’onglet Developer (Serveur local).
  2. Chargez un modèle puis démarrez le serveur. Celui-ci écoute sur le port 1234.
Si vous utilisez un autre port, modifiez simplement la valeur dans BaseUrl. Tout serveur compatible avec l’API Chat Completions d’OpenAI fonctionnera.