Utilisez un serveur Xinference depuis n’importe où

Xinference (Xorbits Inference) met à disposition des modèles via une API compatible OpenAI sur votre machine locale ; par défaut, cette API ne répond qu’à localhost, donc elle n’est pas accessible depuis d’autres machines sauf si vous élargissez la portée ou redirigez le port. Il est préférable de laisser Xinference sur localhost et de lancer à côté le connecteur Tokios : celui-ci se connecte à https://api.tokios.com, et vos outils, collaborateurs ou agents peuvent alors interroger un point de terminaison authentifié depuis n’importe où.

Exécution avancée. Xinference est un framework de mise à disposition de modèles destiné aux configurations complexes. Si vous souhaitez simplement servir un modèle de la manière la plus aisée, commencez plutôt par Ollama ou LM Studio.

Xinference met à disposition une API de complétion de chat compatible OpenAI, ce qui permet à Tokios de s’y connecter comme à n’importe quel serveur compatible OpenAI : le connecteur transmet les requêtes à l’/v1 BaseUrl que vous avez configuré, quelle que soit l’identité du serveur sous-jacent. Ollama, llama.cpp, vLLM et LM Studio sont les backends les plus couramment documentés par Tokios, mais tout système compatible OpenAI — y compris Xinference — fonctionne de la même manière.

La méthode unidirectionnelle sortante

Lancez Xinference localement, comme d’habitude

Démarrez le serveur Xinference local — par exemple via xinference-local — puis chargez un modèle via son tableau de bord ou sa ligne de commande. Les commandes et paramètres exacts varient selon les versions, il convient donc de consulter la documentation de votre version.

xinference-local

Xinference utilise généralement le port 9997 pour son API compatible OpenAI ; vérifiez le port par défaut de votre installation. Il faut le laisser lié à 127.0.0.1 plutôt qu’à 0.0.0.0, et ne pas rediriger ce port sur votre routeur.

Associez le connecteur Tokios

Connectez-vous à tokios.com/console, ouvrez l’onglet Setup puis cliquez sur Start pairing. Tokios affiche alors un code d’appairage unique tel que TKS-XXXX-XXXX, valable environ 15 minutes.Sur la machine exécutant Xinference, lancez la commande d’installation unique adaptée à votre système d’exploitation.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Avez-vous déjà installé tokios-connector ? Dans ce cas, transmettez directement le code requis.

tokios-connector TKS-XXXX-XXXX

De retour dans la console, approve le périphérique dans l’onglet Setup ou Connectors. Le jeton du connecteur est transmis via le tunnel après approbation ; vous ne le verrez jamais à l’écran ni ne devrez le coller dans un fichier.

Indiquez au connecteur l’adresse de l’API /v1 de Xinference.

Pour un déploiement basique avec un seul modèle, l’assistant de configuration demande l’URL de base du modèle amont ; saisissez l’endpoint compatible OpenAI de Xinference, http://127.0.0.1:<port>/v1 (vérifiez le port selon votre installation). Si vous proposez plusieurs modèles via un fichier de configuration tokios-connector.json, précisez l’ID de modèle amont BaseUrl explicitement.

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:9997/v1"
  }
}

Validez 9997 en le comparant à votre instance Xinference active. Consultez la page Configuration du connecteur pour connaître le format complet du fichier multi-modèles.

Effectuez le déploiement.

Dans l’onglet Models, enregistrez le modèle Xinference et choisissez un nom public, par exemple xinference-tunnel. Ce nom public, et non l’ID de modèle défini dans Xinference, sera transmis par les clients dans le champ model.

Générez une clé API.

Dans l’onglet Keys, cliquez sur Create key. Vous pouvez limiter son utilisation à certains déploiements grâce à des motifs de noms de modèles (liste séparée par des virgules ; utilisez * pour tout autoriser). Copiez immédiatement la clé sk-tok-… : elle ne s’affiche qu’une seule fois.

Utilisez-la depuis n’importe où.

Une fois le nom de déploiement et la clé API obtenus, tout client compatible OpenAI ou Anthropic pourra accéder à votre modèle Xinference, que ce soit depuis une autre machine, l’ordinateur d’un collègue ou un agent hébergé.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "xinference-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="xinference-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model xinference-tunnel

Le champ model indique toujours le nom de votre déploiement enregistré (xinference-tunnel ci-dessus), jamais l’ID de modèle lancé dans Xinference. Consultez Utiliser Claude Code pour conserver les variables d’environnement d’une session à l’autre.

Questions fréquentes

Xinference est-il officiellement pris en charge ?

Ollama, llama.cpp, vLLM et LM Studio sont les backends les plus couramment documentés par Tokios. Toutefois, le connecteur fonctionne avec tout serveur proposant une API Chat Completions compatible OpenAI à l’adresse /v1 ; Xinference en fait partie, donc il agit comme un point d’accès générique compatible OpenAI. Vérifiez le comportement avec votre propre version de Xinference avant de l’utiliser en production.

Le streaming est-il pris en charge ?

Oui, à condition que le modèle et le serveur Xinference sous-jacents prennent en charge les réponses en streaming. Configurez "stream": true et Tokios renverra des événements envoyés par le serveur (SSE) au format OpenAI ou Anthropic, selon l’interface API sollicitée.

Puis-je servir plusieurs modèles Xinference ?

Absolument. Enregistrez d’autres déploiements dans l’onglet Models, ou utilisez un fichier de configuration tokios-connector.json pour définir plusieurs ID de modèles amont et routes pour un seul connecteur — pratique lorsque vous exécutez plusieurs modèles dans Xinference. Consultez Configuration du connecteur.

Puis-je partager l’accès avec mes collègues sans exposer Xinference directement ?

Oui. Créez une clé API sk-tok-… distincte pour chaque collaborateur dans l’onglet Keys, en limitant son accès aux déploiements requis. La révocation d’une clé entraîne immédiatement la perte d’autorisation, ce qui permet de supprimer l’accès sans toucher à Xinference ni au connecteur.

Vos modèles restent sur votre machine — votre point d’accès fonctionne partout.

Xinference continue d’opérer tel quel sur localhost, sans ports entrants ni points d’accès autres que /v1. Le connecteur se contente d’effectuer des appels sortants. Tout le reste — authentification, routage, streaming — se gère via un seul point d’accès que vous pouvez utiliser depuis n’importe quel appareil, collaborateur ou agent disposant d’une clé.

Connecteurs pris en charge

Découvrez quels moteurs d’exécution locaux Tokios teste et prend en charge actuellement.

Clés API

Créez, définissez les autorisations et renouvelez les clés API sk-tok-… destinées à vos collègues et agents.

Matériel et compatibilité

Servir et connecter votre runtime

Connecter un client ou une app

Comparer

Utilisez un serveur Xinference depuis n’importe où — en toute sécurité

La méthode unidirectionnelle sortante

Utilisez-la depuis n’importe où.

Questions fréquentes

Vos modèles restent sur votre machine — votre point d’accès fonctionne partout.

Connecteurs pris en charge

Clés API

​La méthode unidirectionnelle sortante

​Utilisez-la depuis n’importe où.

​Questions fréquentes

​Vos modèles restent sur votre machine — votre point d’accès fonctionne partout.

Connecteurs pris en charge

Clés API

La méthode unidirectionnelle sortante

Utilisez-la depuis n’importe où.

Questions fréquentes

Vos modèles restent sur votre machine — votre point d’accès fonctionne partout.