Utilisez un serveur vLLM depuis n’importe où — en toute sécurité

Par défaut, le serveur compatible OpenAI de vLLM écoute sur le port http://127.0.0.1:8000/v1 ; il n’est pas accessible depuis d’autres machines sans configuration supplémentaire. Bien que vLLM propose un paramètre --api-key, sa documentation précise qu’il ne faut pas s’y fier exclusivement. Il est préférable de laisser vLLM sur localhost et de faire fonctionner le connecteur Tokios à côté : ce dernier se connecte à https://api.tokios.com, permettant ainsi à vos outils, collaborateurs ou agents d’accéder à un point d’entrée authentifié depuis n’importe où.

Exécution avancée. vLLM est un serveur Python utilisant le GPU, conçu pour un débit élevé ; sa configuration et son réglage demandent plus d’efforts qu’un simple outil de bureau. Si vous cherchez simplement le moyen le plus aisé de servir un modèle, commencez par Ollama ou LM Studio — Tokios se connecte à chacun d’eux de la même manière.

Le mécanisme `--api-key` de vLLM ne résout pas tout

vllm serve --api-key <key> exige qu’un jeton d’authentification soit fourni dans les requêtes, ce qui constitue une première couche de sécurité pertinente. Toutefois, selon la documentation de sécurité de vLLM, il y a un problème lié aux portées : la vérification de la clé ne s’applique qu’aux chemins /v1, et d’autres points de terminaison sur le même serveur ne bénéficient d’aucune protection. La recommandation officielle de vLLM consiste à placer un proxy inverse en amont afin de n’autoriser que les points de terminaison que vous souhaitez exposer ; en soi, --api-key ne doit pas être considéré comme une défense suffisante.

Il ne s’agit pas de critiquer vLLM : le port --api-key assure bien sa fonction pour les chemins concernés. Toutefois, il ne répond pas au besoin d’authentification et de routage des requêtes depuis n’importe où. Tokios a été conçu spécifiquement pour cela : il n’ouvre aucun port entrant sur votre hôte vLLM, éliminant ainsi toute surface d’exposition à filtrer.

La méthode sortante uniquement

Lancez vLLM localement, comme d’habitude

Laissez vLLM sur 127.0.0.1 — n’étendez pas sa portée au-delà de l’adresse locale. Démarrez ensuite le serveur compatible OpenAI :

vllm serve mistralai/Mistral-7B-Instruct-v0.2

Il continuera d’écouter sur le port http://127.0.0.1:8000 par défaut.

Associez le connecteur Tokios

Connectez-vous à tokios.com/console, ouvrez l’onglet Setup puis cliquez sur Start pairing. Tokios affiche alors un code d’appairage unique, tel que TKS-XXXX-XXXX, valable pendant environ 15 minutes.Sur l’ordinateur exécutant vLLM, lancez la commande d’installation adaptée à votre système d’exploitation.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Avez-vous déjà installé tokios-connector ? Dans ce cas, saisissez directement le code d’appairage.

tokios-connector TKS-XXXX-XXXX

De retour dans la console, cliquez sur approve pour l’appareil dans l’onglet Setup ou Connectors. Le jeton du connecteur est transmis via le tunnel une fois l’appareil approuvé — vous ne le voyez jamais à l’écran et ne le collez dans aucun fichier.

Configurez le connecteur afin qu’il pointe vers l’API /v1 de vLLM.

Le serveur OpenAI-compatible de vLLM répond déjà aux exigences de Tokios. Pour un déploiement à un seul modèle, l’assistant de configuration utilise automatiquement http://127.0.0.1:8000/v1 comme ID de modèle amont. Si vous exploitez plusieurs modèles via un fichier de configuration tokios-connector.json, précisez manuellement l’ID de modèle amont BaseUrl.

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8000/v1"
  }
}

Consultez Configuration du connecteur pour connaître le format complet d’un fichier multi-modèles.

Effectuez le déploiement

Dans l’onglet Models, enregistrez le modèle vLLM et choisissez un nom public, par exemple mistral-tunnel. Ce nom public, et non l’ID de modèle amont de vLLM, doit être indiqué dans le champ model par les clients.

Générez une clé API

Dans l’onglet Keys, cliquez sur Create key. Vous pouvez limiter son utilisation à certains déploiements en indiquant des motifs de noms de modèles (liste séparée par des virgules ; utilisez * pour tout autoriser). Copiez immédiatement la clé sk-tok-… : elle ne s’affiche qu’une seule fois.

Faites-vous le service d’adaptateurs LoRA ? vLLM peut gérer plusieurs adaptateurs depuis un seul processus si vous le lancez avec --enable-lora et --lora-modules, en identifiant chaque adaptateur par son nom dans le champ model de la requête. Enregistrez chaque adaptateur en tant que déploiement Tokios distinct doté de son propre nom public, exactement comme vous le feriez pour tout autre modèle — consultez Modèle de routage pour savoir comment le passerelle associe un nom de déploiement public à l’ID de modèle amont que vous transmettez.

Utilisez-le depuis n’importe où

Une fois que vous disposez d’un nom de déploiement et d’une clé API, tout client compatible OpenAI ou Anthropic peut accéder à votre modèle vLLM — que ce soit depuis un autre ordinateur, l’ordinateur portable d’un collègue ou un agent hébergé.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="mistral-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mistral-tunnel

Le champ model doit toujours contenir le nom de déploiement que vous avez enregistré (mistral-tunnel ci-dessus), jamais l’ID de modèle local attribué par vLLM. Consultez Utiliser Claude Code pour conserver les variables d’environnement d’une session à l’autre.

Questions fréquentes

Le streaming fonctionne-t-il ?

Oui. Définissez "stream": true et Tokios renverra des événements envoyés par le serveur (SSE) au format OpenAI ou Anthropic, selon l’interface API que vous avez sollicitée.

Puis-je faire le service de plusieurs modèles ou adaptateurs via vLLM ?

Absolument. Enregistrez d’autres déploiements dans l’onglet Models, ou utilisez un fichier de configuration tokios-connector.json pour définir plusieurs modèles amont et routes pour un seul connecteur — cela s’avère utile si vous exécutez plusieurs processus vLLM ou un seul processus gérant plusieurs adaptateurs LoRA via --lora-modules. Consultez Configuration du connecteur.

Dois-je encore utiliser le paramètre --api-key de vLLM ?

Vous pouvez le conserver afin de renforcer la sécurité sur la connexion en boucle entre le connecteur et vLLM, mais ce n’est pas ce qui authentifie les appelants accédant à votre service via Tokios. Les requêtes clients adressées à https://api.tokios.com sont authentifiées grâce à votre clé sk-tok-… ; le connecteur, lui, est le seul autorisé à accéder à 127.0.0.1:8000.

Puis-je partager l’accès avec mes collègues sans exposer directement vLLM ?

Oui. Il convient de créer une clé API distincte sk-tok-… pour chaque membre de l’équipe dans l’onglet Keys, puis de limiter l’accès de chaque clé aux seuls déploiements requis. La révocation d’une clé API entraîne son invalidation immédiate, ce qui permet de supprimer tout accès sans avoir à modifier vLLM ou le connecteur.

Votre modèle ne quitte jamais votre machine — votre point de terminaison fonctionne partout.

vLLM continue d’opérer exactement comme aujourd’hui sur localhost, sans ports entrants ni points de terminaison exposés en dehors de /v1. Le connecteur se contente d’effectuer des appels sortants. Au-delà, l’authentification, le routage et le streaming se gèrent via un seul point de terminaison que vous pouvez solliciter depuis n’importe quelle machine, membre d’équipe ou agent auquel vous attribuez une clé API.

Démarrage rapide

Associez un connecteur et enregistrez votre premier modèle de bout en bout.

Clés API

Créez, définissez la portée et faites pivoter les clés API sk-tok-… pour vos collègues et agents.

Matériel et compatibilité

Servir et connecter votre runtime

Connecter un client ou une app

Comparer

Utilisez un serveur vLLM depuis n’importe où — en toute sécurité

Le mécanisme `--api-key` de vLLM ne résout pas tout

La méthode sortante uniquement

Utilisez-le depuis n’importe où

Questions fréquentes

Votre modèle ne quitte jamais votre machine — votre point de terminaison fonctionne partout.

Démarrage rapide

Clés API

​Le mécanisme --api-key de vLLM ne résout pas tout

​La méthode sortante uniquement

​Utilisez-le depuis n’importe où

​Questions fréquentes

​Votre modèle ne quitte jamais votre machine — votre point de terminaison fonctionne partout.

Démarrage rapide

Clés API

Le mécanisme `--api-key` de vLLM ne résout pas tout

La méthode sortante uniquement

Utilisez-le depuis n’importe où

Questions fréquentes

Votre modèle ne quitte jamais votre machine — votre point de terminaison fonctionne partout.