Mettez à disposition des modèles depuis votre serveur GPU domestique pour toute votre équipe

​

Le problème de connectivité des serveurs domestiques

• Absence d’adresse IP publique pour la redirection. Si votre fournisseur d’accès utilise un CGNAT, il n’existe aucune adresse IP unique vers laquelle appliquer une règle de redirection de port — consultez Diffuser un LLM local derrière un CGNAT pour comprendre pourquoi il s’agit d’une configuration de routeur impossible à modifier soi-même.
• On ne souhaite pas non plus le rendre accessible même si cela était possible. Lier l’environnement de fonctionnement à 0.0.0.0 et ouvrir un port transformerait votre boîtier GPU en service non authentifié sur Internet. Toute personne découvrant ce port pourrait alors lui envoyer des requêtes.
• Partager l’accès revient à tout partager. Fournir à un collègue votre nœud Tailscale ou un port ouvert lui accorde exactement les mêmes droits que vous — il n’existe pas de clé API individuelle ni de moyen de restreindre un utilisateur sans affecter l’ensemble du groupe.

​

Procédez à sa configuration sur votre serveur

ollama serve

vllm serve meta-llama/Llama-3.1-8B-Instruct

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

tokios-connector TKS-XXXX-XXXX

​

Héberger plusieurs modèles simultanément

​

Utilisation depuis n’importe où

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "homelab-llama",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello from the team laptop"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="homelab-llama",
    messages=[{"role": "user", "content": "Hello from the team laptop"}],
)

​

Pourquoi un seul point d’accès pour toute l’équipe ?

• Aucun port entrant n’est ouvert sur la machine, jamais. Le connecteur ne crée que des connexions sortantes, de sorte que vos collègues n’ont pas besoin de VPN, de tunnel SSH ni de port 0.0.0.0 configuré pour accéder au serveur — cela vaut que vous soyez ou non derrière un CGNAT.
• Révoquer la clé d’un collègue sans impacter les autres. Puisque chaque personne dispose de sa propre clé sk-tok-…, la désactiver ou la supprimer dans l’onglet Keys bloque immédiatement cet utilisateur tout en laissant les autres clés pleinement opérationnelles.
• Changer de modèle sans modifier la configuration cliente. En associant un nom de déploiement à un autre ID de modèle amont ou à un autre backend, tous les collègues et scripts ciblant déjà homelab-llama continuent de fonctionner sans modification.

​

Prochaines étapes