Tokios contre Cloudflare Tunnel pour l’accès aux modèles LLM locaux

​

Aperçu

Cloudflare Tunnel (cloudflared) établit une connexion sortante de votre machine vers le réseau Edge de Cloudflare. Il fonctionne comme un proxy inverse : les requêtes externes atteignent Cloudflare, qui les transmet ensuite via le tunnel vers votre serveur local. Le chiffrement TLS se fait à la périphérie, et aucun port entrant n’est ouvert sur votre routeur. Pour utiliser des modèles LLM, vous indiquez cloudflared comme port d’écoute pour Ollama ou vLLM, configurez un enregistrement DNS, et votre modèle devient accessible via une URL publique telle que llm.example.com. Cela fonctionne, mais la couche de proxy de Cloudflare impose des contraintes particulières pour les flux de données en streaming. Tokios reprend ce même modèle de connexion sortante, mais ajoute en amont un passerelle API spécifiquement conçue pour les modèles LLM. La diffusion SSE est gérée nativement, il n’y a pas de limite temporelle imposée par le proxy, et la gestion des clés API par utilisateur est intégrée.

​

Tableau comparatif

​

Les points forts de Cloudflare

• Niveau gratuit. Cloudflare Tunnel est gratuit dans le plan standard. Pour un développeur isolé exposant un seul service, le coût s’élève à $0.
• Réseau Edge gigantesque. Cloudflare gère plus de 300 centres de données à travers le monde. La latence vers l’Edge reste faible partout.
• Protection DDoS. Le réseau de Cloudflare absorbe automatiquement les attaques volumétriques. Votre adresse IP personnelle ne sera jamais divulguée.
• Noms de domaine personnalisés. Associez llm.yourdomain.com à votre tunnel. Tokios utilise api.tokios.com — vous ne pouvez pas obtenir d’hôte personnalisé.
• Fonctionne avec n’importe quel service HTTP. Applications web, API, sites statiques — Cloudflare Tunnel s’adapte à tout. Si vous exposez à la fois un tableau de bord web et votre modèle, un seul tunnel suffit.

​

Les points forts de Tokios

• Streaming SSE natif. Aucun tamponnage, aucune configuration d’en-têtes requise. Les jetons sont transmis au client dès leur génération — le connecteur Tokios est conçu pour ce type de flux.
• Aucune limite de temps sur la durée de génération. Le délai de lecture de ~100 à 120 secondes imposé par Cloudflare interrompt les générations prolongées. Un modèle volumineux produisant 4,000 jetons sur du matériel grand public dépasse aisément cette limite. Tokios ne connaît pas pareille restriction.
• Gestion intégrée des clés API. Des clés sk-tok-… attribuées à chaque utilisateur et limitées à des déploiements précis. Avec Cloudflare, il faut mettre en place l’authentification soi-même — via Cloudflare Access, un middleware ou un autre connecteur API.
• Traduction de protocoles. Compatibilité avec les API OpenAI et Anthropic au niveau du connecteur. Cloudflare se contente de rediriger le trafic sur un port brut.
• 2-minute setup. One install command, approve in the dashboard, create a key. Cloudflare Tunnel requires DNS record creation, cloudflared config files, and (optionally) Cloudflare Access policies.

​

Le problème de tamponnage du flux SSE

Par défaut, le connecteur Cloudflare tamponne les corps de réponse. Cela convient au trafic web classique, car cela accroît le débit pour les pages entières. En revanche, pour le streaming SSE, ce comportement est inadapté : le client attend les jetons, puis reçoit la totalité de la réponse d’un coup (ou rencontre un délai d’attente dépassé). La documentation de Cloudflare indique que le trafic HTTP est tamponné sauf si l’origine envoie l’en-tête Content-Type: text/event-stream. Certains backends LLM envoient cet en-tête, d’autres non. Même lorsque c’est le cas, des couches de connecteurs intermédiaires ou des configurations erronées peuvent le supprimer. Le résultat est un point de terminaison qui semble fonctionner, mais qui envoie tous les jetons en une seule fois — ce qui annule tout l’intérêt du streaming. Le connecteur Tokios est spécifiquement adapté aux LLM. Il détecte les réponses en flux continu et transmet chaque jeton au client sur-le-champ, quelle que soit la configuration d’en-têtes du backend.

​

Le problème de délai d’attente

Le connecteur Cloudflare impose un délai de lecture d’environ 100 à 120 secondes pour les abonnements non Enterprise. Une génération longue — avec un nombre élevé de jetons max_tokens, une fenêtre de contexte vaste ou un modèle lent sur du matériel grand public — dépasse souvent cette limite. Dans ce cas, le client reçoit une erreur 524 en pleine génération. Le modèle poursuivait pourtant son travail ; le connecteur a simplement rompu la connexion. Les clients Enterprise peuvent augmenter ce délai, mais cela entraîne une hausse notable des coûts pour une fonctionnalité qui, sinon, est gratuite. Tokios ne fixe aucune limite à la durée des requêtes. Une génération prenant 5 minutes s’achève sans encombre.

​

Quand opter pour Cloudflare Tunnel ?

• Déjà intégré à l’écosystème Cloudflare. Le DNS de votre domaine est géré par Cloudflare, vous utilisez Cloudflare Access pour d’autres services ; l’ajout d’un tunnel ne représente qu’une tâche mineure.
• Mettre en ligne des applications web en même temps que des LLM. Un tableau de bord, une interface de démonstration et une API de modèle peuvent toutes être accessibles via un seul tunnel et un seul domaine personnalisé.
• Besoin de domaines personnalisés. llm.yourdomain.com est essentiel pour la notoriété de la marque ou pour l’intégration à l’infrastructure existante.
• Besoin d’un proxy inverse polyvalent. Vous souhaitez exposer des services autres que simplement les API de LLM.

​

Quand opter pour Tokios ?

• Utilisation ciblée pour les LLM. Votre objectif principal est de mettre en ligne une API de modèle avec un streaming fiable, et non de créer un service web généraliste.
• Besoin d’un streaming fiable. Les jetons SSE doivent parvenir en temps réel, sans être mis en mémoire tampon ni interrompus par les délais de timeout du proxy.
• Besoin de clés API. Plusieurs utilisateurs ou agents requièrent des identifiants sécurisés sans avoir à développer de couche d’authentification personnalisée.
• Want minimal setup. 2 minutes vs 30+ minutes of DNS, config, and Access policy setup.