Utilisez un serveur llama.cpp depuis n’importe où

Par défaut, llama-server écoute sur http://127.0.0.1:8080/v1 ; il n’est pas accessible depuis d’autres machines sauf si vous élargissez la portée de liaison ou redirigez le port. Bien que llama-server propose un paramètre optionnel --api-key, celui-ci est désactivé par défaut, et la mise en place du chiffrement TLS relève entièrement de votre responsabilité. Il est préférable de laisser llama-server sur localhost et de lancer le connecteur Tokios à côté : ce dernier établit une connexion sortante vers https://api.tokios.com, permettant ainsi à vos outils, collègues ou agents d’interroger un point de terminaison authentifié depuis n’importe où.

`llama-server` : l’authentification est facultative et désactivée par défaut

llama-server est le serveur compatible OpenAI fourni avec llama.cpp, conçu pour servir un modèle GGUF via HTTP. Une fois lancé, il accepte les requêtes de toute entité atteignant le port, sans nécessiter de identifiants, sauf indication contraire.

llama-server -m model.gguf --port 8080

Vous pouvez activer l’obligation d’un jeton d’authentification auprès de --api-key <key> ; cela constitue une première couche de sécurité raisonnable. Toutefois, aucune configuration par défaut n’existe, et la mise en œuvre du chiffrement TLS reste une tâche manuelle — llama-server ne s’en charge pas automatiquement.

Il ne s’agit pas d’une critique envers llama-server : il s’agit d’un serveur d’inférence léger et facile à intégrer, dont les options d’authentification et de chiffrement TLS restent activables à la demande, facilitant son déploiement sur des machines de confiance ou derrière vos propres infrastructures. Tokios, quant à lui, répond à un besoin différent : transformer ce point de terminaison local en API sécurisée accessible de partout, sans ouvrir de port entrant ni configurer manuellement le chiffrement TLS. Le support de llama.cpp est d’ailleurs une priorité pour Tokios.

La méthode unidirectionnelle

Lancez llama-server localement, comme d’habitude.

Laissez llama-server sur 127.0.0.1 ; ne modifiez pas la portée de liaison au-delà de l’adresse locale. Démarrez-le en indiquant votre modèle GGUF.

llama-server -m model.gguf --port 8080

Laissez-le écouter sur le port http://127.0.0.1:8080 par défaut.

Associez le connecteur Tokios

Connectez-vous à tokios.com/console, ouvrez l’onglet Setup puis cliquez sur Start pairing. Tokios affiche alors un code d’appairage unique, tel que TKS-XXXX-XXXX, valable environ 15 minutes.Sur l’ordinateur où llama-server est installé, exécutez la commande d’installation adaptée à votre système d’exploitation.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Avez-vous déjà installé tokios-connector ? Dans ce cas, saisissez directement le code d’appairage.

tokios-connector TKS-XXXX-XXXX

De retour dans la console, approve le périphérique dans l’onglet Setup ou Connectors. Le jeton du connecteur est transmis via le tunnel après approbation — vous ne le verrez jamais à l’écran ni ne devrez le coller dans un fichier.

Configurez le connecteur afin qu’il pointe vers l’API /v1 de llama-server.

llama-server prend en charge nativement l’interface Chat Completions d’OpenAI attendue par Tokios. Pour un déploiement à un seul modèle, l’assistant de configuration utilise automatiquement http://127.0.0.1:8080/v1 comme ID de modèle amont. Si vous proposez plusieurs modèles via un fichier de configuration tokios-connector.json, indiquez manuellement l’ID de modèle amont BaseUrl.

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8080/v1"
  }
}

Consultez la page Configuration du connecteur pour connaître le format complet du fichier prenant en charge plusieurs modèles.

Effectuez le déploiement

Dans l’onglet Models, enregistrez le modèle llama.cpp et choisissez un nom public, par exemple llama-tunnel. Ce nom public, et non le fichier GGUF ni l’ID de modèle interne, est celui que les clients renseignent dans le champ model.

Générez une clé API

Dans l’onglet Keys, cliquez sur Create key. Vous pouvez également limiter son utilisation à certains déploiements grâce à des motifs de noms de modèles (liste séparée par des virgules ; utilisez * pour tout autoriser). Copiez immédiatement la clé sk-tok-… : elle ne s’affiche qu’une seule fois.

Utilisez-le depuis n’importe où

Une fois que vous disposez d’un nom de déploiement et d’une clé API, tout client compatible OpenAI ou Anthropic peut accéder à votre modèle llama.cpp, que ce soit depuis un autre ordinateur, l’ordinateur portable d’un collègue ou un agent hébergé.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="llama-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model llama-tunnel

Le champ model doit toujours contenir le nom de déploiement que vous avez enregistré (llama-tunnel ci-dessus), jamais le nom du fichier GGUF ni l’ID de modèle local. Consultez Utiliser Claude Code pour conserver les variables d’environnement d’une session à l’autre.

Questions fréquentes

Le streaming fonctionne-t-il ?

Oui. En renseignant "stream": true, Tokios renvoie des événements envoyés par le serveur au format OpenAI ou Anthropic, selon l’interface API sollicitée.

J’ai affiné un modèle GGUF — puis-je le servir ?

Oui. llama-server prend en charge n’importe quel fichier GGUF indiqué via -m, y compris les modèles affinés. Enregistrez-le en tant que déploiement distinct doté d’un nom public, comme n’importe quel autre modèle. Consultez Servir votre modèle affiné pour connaître l’ensemble du processus allant de l’entraînement à la mise en service sur Tokios.

Est-il possible de servir plusieurs modèles GGUF ?

Oui. Enregistrez d’autres déploiements dans l’onglet Models, ou utilisez un fichier de configuration tokios-connector.json pour définir plusieurs ID de modèles amont et routes pour un seul connecteur — utile si vous exécutez plusieurs processus llama-server, chacun sur son propre port. Consultez Configuration du connecteur.

Dois-je encore utiliser le paramètre --api-key de llama-server ?

Vous pouvez le conserver comme mesure de sécurité supplémentaire sur la connexion locale entre le connecteur et llama-server, mais il ne sert pas à authentifier les requêtes provenant de clients via Tokios. Les demandes clientes adressées à https://api.tokios.com sont authentifiées grâce à votre clé sk-tok-… ; le connecteur, quant à lui, est le seul autorisé à accéder à 127.0.0.1:8080.

Votre modèle ne quitte jamais votre machine — votre point de terminaison fonctionne partout.

llama-server continue d’agir exactement comme aujourd’hui sur localhost, sans besoin de ports entrants ni de configuration manuelle du protocole TLS. Le connecteur ne fait que des appels sortants. Tout le reste — authentification, routage, diffusion en continu — se résume à un seul point de terminaison que vous pouvez solliciter depuis n’importe quelle machine, collaborateur ou agent auquel vous octroyez une clé API.

Démarrage rapide

Associez un connecteur et enregistrez votre premier modèle en toute simplicité.

Clés API

Créez, définissez les droits d’accès et renouvelez les clés API sk-tok-… pour vos collègues et agents.

Matériel et compatibilité

Servir et connecter votre runtime

Connecter un client ou une app

Comparer

Utilisez un serveur llama.cpp depuis n’importe où — en toute sécurité

`llama-server` : l’authentification est facultative et désactivée par défaut

La méthode unidirectionnelle

Utilisez-le depuis n’importe où

Questions fréquentes

Votre modèle ne quitte jamais votre machine — votre point de terminaison fonctionne partout.

Démarrage rapide

Clés API

​llama-server : l’authentification est facultative et désactivée par défaut

​La méthode unidirectionnelle

​Utilisez-le depuis n’importe où

​Questions fréquentes

​Votre modèle ne quitte jamais votre machine — votre point de terminaison fonctionne partout.

Démarrage rapide

Clés API

`llama-server` : l’authentification est facultative et désactivée par défaut

La méthode unidirectionnelle

Utilisez-le depuis n’importe où

Questions fréquentes

Votre modèle ne quitte jamais votre machine — votre point de terminaison fonctionne partout.