Vous avez fine-tuné un modèle : transformez-le en API

Si vous avez déjà exporté votre fine-tune au format GGUF et qu’il s’exécute dans Ollama ou llama.cpp, vous disposez d’un point de terminaison localhost mais aucun moyen de l’appeler depuis un autre endroit. Gardez le fine-tune exactement là où il est, exécutez le connecteur Tokios à côté, et enregistrez un nom de déploiement pour celui-ci — vous obtenez un véritable point de terminaison https://api.tokios.com, sécurisé par une clé sk-tok-…, que tout client compatible OpenAI ou Anthropic peut appeler.

Le dernier kilomètre après le fine-tuning

La voie de fine-tuning documentée — par exemple avec Unsloth — vous amène jusqu’à l’export d’un fichier GGUF et son chargement avec ollama create depuis un Modelfile, ou son service via le serveur de llama.cpp ; vérifiez la syntaxe exacte des commandes d’export et ollama create par rapport à votre version d’Unsloth. Ces deux méthodes permettent à votre fine-tune de répondre aux requêtes sur 127.0.0.1. C’est généralement là que la documentation s’arrête. Un point de terminaison localhost fonctionne depuis la même machine, dans le même terminal, tant que ce processus est en cours d’exécution — il ne fonctionne pas depuis l’ordinateur portable d’un collègue, un job CI, un agent hébergé, ou votre propre téléphone. Le transformer en quelque chose d’appelable depuis n’importe où est le dernier kilomètre non documenté, et c’est le problème spécifique que Tokios résout : il ne touche pas à la manière dont le fine-tune a été créé ou servi, il rend simplement le point de terminaison accessible et authentifié.

Tokios ne fine-tune, ne quantifie ni n’exporte rien, et ne corrige pas les incompatibilités de chat-template. Il reprend là où votre runtime expose déjà une API /v1 compatible OpenAI et rend ce point de terminaison appelable en dehors de localhost. Faire en sorte que le fine-tune serve correctement, avec le bon chat template, est la responsabilité de votre runtime — consultez Choisir un modèle local si vous devez encore décider comment le servir.

Étapes

Confirmez que votre fine-tune est servi localement

Ce guide suppose que votre GGUF est déjà chargé et répond aux requêtes via le serveur d’Ollama ou de llama.cpp sur localhost. Pour Ollama, il s’agit généralement d’un modèle que vous avez chargé avec ollama create <name> -f Modelfile et que vous pouvez déjà interroger avec ollama run <name>. Pour llama.cpp, il s’agit de llama-server écoutant sur son port par défaut — confirmez le port exact par rapport à votre installation. Dans les deux cas, ne changez pas la manière dont il est lié — laissez-le sur 127.0.0.1.

Appariez le connecteur Tokios

Connectez-vous sur tokios.com/console, ouvrez l’onglet Setup, et cliquez sur Start pairing. Tokios affiche un code d’appairage unique comme TKS-XXXX-XXXX, valide pendant environ 15 minutes.Sur la machine exécutant votre fine-tune, exécutez la commande d’installation en une ligne pour votre système d’exploitation :

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Vous avez déjà tokios-connector installé ? Passez le code directement à la place :

tokios-connector TKS-XXXX-XXXX

De retour dans la console, approve l’appareil sur l’onglet Setup ou Connectors. Le jeton du connecteur est livré via le tunnel une fois approuvé — vous ne le voyez jamais à l’écran ni ne le collez dans un fichier.

Pointez le connecteur vers l'API /v1 de votre runtime

Tokios communique avec n’importe quelle surface /v1 compatible OpenAI que votre runtime expose — le fait que le modèle sous-jacent soit un fine-tune plutôt qu’un point de contrôle standard n’a aucune importance. Pour le chemin de base à modèle unique, l’assistant de Setup de la console remplit automatiquement l’upstream en fonction du runtime que vous choisissez (http://127.0.0.1:11434/v1 pour Ollama, http://127.0.0.1:8080/v1 pour llama.cpp). Si vous servez plusieurs modèles ou adaptateurs via une configuration tokios-connector.json, définissez explicitement l’BaseUrl upstream :

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:11434/v1"
  }
}

Consultez Configuration du connecteur pour le format complet du fichier multi-modèles.

Enregistrez un nom de déploiement pour votre fine-tune

Dans l’onglet Models, enregistrez votre fine-tune et choisissez un nom public — par exemple, my-finetune-tunnel. Ce nom public, et non l’identifiant de modèle local que vous lui avez donné dans ollama create ou llama.cpp, est ce que les clients envoient dans le champ model. C’est aussi ce qui permet de distinguer votre fine-tune de tout modèle de base ou autre fine-tune que vous servez via le même connecteur.

Créez une clé API

Dans l’onglet Keys, cliquez sur Create key. Vous pouvez éventuellement la limiter à des déploiements spécifiques avec des motifs de nom de modèle (glob séparés par des virgules, * pour tous) — utile si vous voulez une clé qui ne peut atteindre que votre fine-tune et rien d’autre. Copiez la clé sk-tok-… maintenant — elle n’est affichée qu’une seule fois.

Utilisez votre fine-tune depuis un agent de codage

Une fois que vous disposez d’un nom de déploiement et d’une clé API, votre fine-tune est accessible de la même manière que n’importe quel modèle hébergé — y compris depuis Claude Code ou tout client SDK OpenAI.

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model my-finetune-tunnel

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="my-finetune-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-finetune-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Le sélecteur de modèles de Claude Code ne liste que les identifiants claude*, donc le nom de déploiement de votre fine-tune n’y apparaîtra pas. Passez --model my-finetune-tunnel explicitement, à chaque fois. Consultez Utiliser Claude Code pour persister les variables d’environnement entre les sessions.

Si les réponses semblent malformées, tronquées ou hors ton, c’est presque toujours une incompatibilité de chat-template entre la manière dont le modèle a été fine-tuné et la manière dont le runtime l’interroge — et non quelque chose dans le chemin Tokios. Tokios transmet les requêtes directement à l’API /v1 de votre runtime et ne réécrit ni les prompts ni les templates. Corrigez le Modelfile ou le template de prompt du serveur au niveau du runtime, puis rétestez.

FAQ

Tokios se soucie-t-il que ce soit un fine-tune et non un modèle de base ?

Non. Tokios ne voit qu’un point de terminaison /v1 compatible OpenAI et un nom de déploiement que vous lui avez mappé. Le fait que les poids derrière ce point de terminaison soient un point de contrôle standard, un fine-tune fusionné, ou un adaptateur LoRA n’a aucune importance pour le connecteur ou la passerelle.

Puis-je servir un modèle de base et un fine-tune côte à côte ?

Oui. Enregistrez chacun comme son propre déploiement dans l’onglet Models, ou définissez plusieurs upstreams et routes dans une configuration tokios-connector.json pour un connecteur servant plusieurs modèles. Consultez Configuration du connecteur et Routage des modèles.

Le streaming fonctionne-t-il avec un fine-tune de la même manière ?

Oui. Définissez "stream": true et Tokios renvoie des événements envoyés par le serveur (SSE) standard au format OpenAI ou Anthropic, selon la surface API que vous avez appelée — exactement comme pour tout autre déploiement.

Le chat template de mon fine-tune est incorrect — Tokios peut-il corriger cela ?

Non. La correction du chat-template — faire correspondre les tokens spéciaux et le format de tour sur lesquels le fine-tune a été entraîné — est entièrement la responsabilité de votre runtime (le TEMPLATE du Modelfile d’Ollama, ou le template de prompt du serveur de llama.cpp). Tokios transmet le corps de la requête tel quel à l’API /v1 de votre runtime.

Votre fine-tune ne quitte jamais votre machine — votre point de terminaison fonctionne partout

Les poids restent sur votre matériel, dans le même processus Ollama ou llama.cpp que vous faites déjà confiance. Le connecteur ne fait que composer vers l’extérieur — aucun port entrant, aucune API exposée sur votre machine. Tout ce qui suit — authentification, routage, streaming — est un point de terminaison unique que vous pouvez appeler depuis n’importe quelle machine, collègue ou agent à qui vous choisissez de donner une clé.

Démarrage rapide

Appariez un connecteur et enregistrez votre premier modèle de bout en bout.

Clés API

Créez, limitez et faites pivoter les clés sk-tok-… pour les collègues et les agents.

Matériel et compatibilité

Servir et connecter votre runtime

Connecter un client ou une app

Comparer

Vous avez fine-tuné un modèle : transformez-le en API

Le dernier kilomètre après le fine-tuning

Étapes

Utilisez votre fine-tune depuis un agent de codage

FAQ

Votre fine-tune ne quitte jamais votre machine — votre point de terminaison fonctionne partout

Démarrage rapide

Clés API

​Le dernier kilomètre après le fine-tuning

​Étapes

​Utilisez votre fine-tune depuis un agent de codage

​FAQ

​Votre fine-tune ne quitte jamais votre machine — votre point de terminaison fonctionne partout

Démarrage rapide

Clés API

Le dernier kilomètre après le fine-tuning

Étapes

Utilisez votre fine-tune depuis un agent de codage

FAQ

Votre fine-tune ne quitte jamais votre machine — votre point de terminaison fonctionne partout