Utilisez un serveur SGLang depuis n’importe où — en toute sécurité

SGLang met en route un serveur compatible OpenAI ; Tokios redirige ensuite les requêtes vers n’importe quel serveur prenant en charge l’API Chat Completions d’OpenAI. Ainsi, SGLang agit comme un fournisseur amont compatible OpenAI. Laissez SGLang sur localhost et exécutez le connecteur Tokios à côté : ce dernier se connecte à https://api.tokios.com, tandis que vos outils, collaborateurs ou agents peuvent interroger un point d’accès authentifié depuis n’importe où.

Environnement d’exécution avancé. SGLang est un serveur Python utilisant le GPU, conçu pour un traitement à haut débit ; sa configuration demande plus d’efforts qu’un simple outil de bureau. Si vous recherchez la solution la plus simple, commencez plutôt par Ollama ou LM Studio.

SGLang propose une API de complétion de chat compatible avec OpenAI, ce qui permet à Tokios de l’utiliser comme n’importe quel serveur compatible OpenAI : le connecteur transmet les requêtes à l’/v1 BaseUrl que vous avez configuré, quelle que soit l’application serveur qui met en œuvre cette interface. Ollama, llama.cpp, vLLM et LM Studio sont les backends les plus documentés par Tokios (voir Backends pris en charge), mais SGLang fonctionne de la même manière. Si vous rencontrez un problème, il provient très probablement de la compatibilité OpenAI de SGLang et non de Tokios.

Méthode unidirectionnelle

Exécutez SGLang localement, comme d’habitude

Laissez SGLang sur 127.0.0.1 — ne le configurez pas pour écouter sur d’autres interfaces que le loopback. Lancez ensuite son serveur compatible OpenAI :

python -m sglang.launch_server --model-path <path-or-repo-id> --port 30000

La valeur par défaut de --port ainsi que le mode de liaison de SGLang à 127.0.0.1 ou 0.0.0.0 varient selon les versions ; si nécessaire, liez-le explicitement au loopback.

Associez le connecteur Tokios

Connectez-vous à tokios.com/console, ouvrez l’onglet Setup puis cliquez sur Start pairing. Tokios affiche alors un code d’appairage unique, tel que TKS-XXXX-XXXX, valable environ 15 minutes.Sur la machine exécutant SGLang, lancez la commande d’installation adaptée à votre système d’exploitation.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Avez-vous déjà installé tokios-connector ? Dans ce cas, transmettez directement le code requis.

tokios-connector TKS-XXXX-XXXX

De retour dans la console, cliquez sur approve pour l’appareil dans l’onglet Setup ou Connectors. Le jeton du connecteur est transmis via le tunnel une fois l’appareil approuvé — vous ne le voyez jamais à l’écran et ne le collez dans aucun fichier.

Indiquez au connecteur l’adresse de l’API /v1 de SGLang.

Le serveur SGLang respecte le même format d’API de complétion de chat qu’attend Tokios. Pour un déploiement à un seul modèle, l’assistant de configuration permet de renseigner manuellement l’ID de modèle amont ; utilisez alors http://127.0.0.1:30000/v1. Si vous gérez plusieurs modèles via un fichier de configuration tokios-connector.json, précisez explicitement l’ID de modèle amont BaseUrl, en incluant /v1.

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:30000/v1"
  }
}

Consultez Configurer le connecteur pour connaître le format complet du fichier multi-modèles.

Effectuez l’enregistrement du déploiement.

Dans l’onglet Models, enregistrez le modèle SGLang et choisissez un nom public, par exemple sglang-tunnel. Ce nom public, et non l’ID de modèle amont, sera transmis par les clients dans le champ model.

Générez une clé API.

Dans l’onglet Keys, cliquez sur Create key. Vous pouvez limiter son utilisation à certains déploiements grâce à des motifs de noms de modèles (liste séparée par des virgules ; * pour tous les modèles). Copiez immédiatement la clé sk-tok-… ; elle ne s’affiche qu’une seule fois.

SGLang propose une option de lancement --api-key qui exige un jeton d’authentification pour les requêtes. Cette mesure renforce la sécurité sur la connexion locale entre le connecteur et SGLang, mais ce n’est pas elle qui authentifie les appels provenant de Tokios ; c’est votre clé sk-tok-…. Vérifiez la syntaxe exacte de ce paramètre ainsi que son champ d’application (tous les endpoints SGLang ou uniquement les chemins /v1) selon votre version de SGLang.

Vous pouvez l’utiliser depuis n’importe quel endroit.

Une fois que vous disposez d’un nom de déploiement et d’une clé API, tout client compatible OpenAI ou Anthropic peut interagir avec votre modèle SGLang, que ce soit depuis un autre ordinateur, l’ordinateur portable d’un collègue ou un agent hébergé.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "sglang-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="sglang-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model sglang-tunnel

Le champ model doit toujours contenir le nom de déploiement que vous avez enregistré (sglang-tunnel ci-dessus) et jamais l’ID de modèle amont utilisé par SGLang. Consultez Utiliser Claude Code pour conserver ces variables d’environnement d’une session à l’autre.

Questions fréquentes

Tokios prend-il officiellement en charge SGLang ?

Ollama, llama.cpp, vLLM et LM Studio sont les backends les plus documentés par Tokios — voir Backends pris en charge. Toutefois, le connecteur ne vérifie pas quel serveur se trouve derrière l’ID de modèle amont ; il transmet simplement les requêtes à l’BaseUrl que vous avez configuré. Le serveur de lancement SGLang utilise le même format OpenAI Chat Completions que ces backends, donc le fonctionnement reste identique. Si la compatibilité OpenAI de SGLang diffère légèrement dans certains cas particuliers, cela relève de SGLang et non de Tokios.

La diffusion en continu est-elle possible ?

Oui. Configurez "stream": true et Tokios renverra des événements envoyés par le serveur (SSE) au format OpenAI ou Anthropic, selon l’interface API sollicitée.

Puis-je servir plusieurs modèles via SGLang ?

Enregistrez d’autres déploiements dans l’onglet Models ou utilisez un fichier de configuration tokios-connector.json pour définir plusieurs ID de modèles amont et routes pour un seul connecteur — utile lorsque vous exécutez plusieurs processus SGLang. Consultez Configuration du connecteur.

Puis-je autoriser mes collègues à accéder à mon modèle sans exposer directement SGLang ?

Oui. Créez une clé sk-tok-… distincte pour chaque collaborateur dans l’onglet Keys, en limitant son accès aux déploiements requis. La révocation d’une clé entraîne immédiatement sa désactivation, ce qui permet de supprimer l’accès sans toucher à SGLang ni au connecteur.

Votre modèle reste toujours sur votre machine ; votre point de terminaison reste accessible partout.

SGLang continue d’opérer tel qu’actuellement sur localhost, sans ports entrants ni points de terminaison exposés en dehors de /v1. Le connecteur ne fait que des appels sortants. Tout le reste — authentification, routage, diffusion en continu — se fait via un seul point de terminaison que vous pouvez appeler depuis n’importe quelle machine, collaborateur ou agent auquel vous octroyez une clé API.

Backends pris en charge

Consultez la liste complète des backends nommés ainsi que les ports amont par défaut.

Clés API

Créez, définissez les droits d’accès et renouvelez les clés sk-tok-… pour vos collaborateurs et agents.

Matériel et compatibilité

Servir et connecter votre runtime

Connecter un client ou une app

Comparer

Utilisez un serveur SGLang depuis n’importe où — en toute sécurité

Méthode unidirectionnelle

Vous pouvez l’utiliser depuis n’importe quel endroit.

Questions fréquentes

Votre modèle reste toujours sur votre machine ; votre point de terminaison reste accessible partout.

Backends pris en charge

Clés API

​Méthode unidirectionnelle

​Vous pouvez l’utiliser depuis n’importe quel endroit.

​Questions fréquentes

​Votre modèle reste toujours sur votre machine ; votre point de terminaison reste accessible partout.

Backends pris en charge

Clés API

Méthode unidirectionnelle

Vous pouvez l’utiliser depuis n’importe quel endroit.

Questions fréquentes

Votre modèle reste toujours sur votre machine ; votre point de terminaison reste accessible partout.