Zum Hauptinhalt springen

​
Übersicht

Cloudflare Tunnel (cloudflared) richtet eine ausgehende Verbindung von Ihrem Rechner zum Edge-Netzwerk von Cloudflare ein. Es fungiert als Reverse-Proxy: Externe Anfragen gelangen zuerst zu Cloudflare, welches sie anschließend durch den Tunnel an Ihren lokalen Server weiterleitet. Die TLS-Verschlüsselung erfolgt am Edge, wobei kein eingehender Port an Ihrem Router geöffnet werden muss. Bei der Nutzung mit LLMs verweisen Sie cloudflared auf den Port Ihres lokalen Ollama- oder vLLM-Servers, legen anschließend einen DNS-Eintrag fest – daraufhin ist Ihr Modell unter einer öffentlichen URL wie llm.example.com erreichbar. Dies funktioniert zwar, doch die Proxy-Schicht von Cloudflare bringt Einschränkungen mit sich, die insbesondere für Streaming-Inferenzanfragen relevant sind. Tokios setzt ebenfalls auf ein Modell mit ausschließlich ausgehender Verbindung, ergänzt jedoch vorne einen speziell für LLMs konzipierten API-Gateway. SSE-Streaming wird nativ unterstützt, es gibt keine Proxy-Timeout-Begrenzung hinsichtlich der Generationsdauer, und pro Nutzer können API-Schlüssel vergeben werden.

​
Vergleichstabelle

​
Wo Cloudflare die Oberhand hat

  • Kostenlose Variante. Cloudflare Tunnel ist im Standardplan kostenlos. Für Einzelentwickler, die lediglich einen Dienst veröffentlichen, beträgt die Gebühr $0.
  • Umfangreiches Edge-Netzwerk. Cloudflare betreibt weltweit über 300 Rechenzentren. Die Latenzzeit zum Edge-Netzwerk ist nahezu überall gering.
  • DDoS-Schutz. Cloudflares Netzwerk blockiert standardmäßig volumetrische Angriffe. Ihre Heim-IP-Adresse bleibt stets verborgen.
  • Individuelle Domains. Weisen Sie llm.yourdomain.com auf Ihren Tunnel hin. Tokios nutzt api.tokios.com – eine individuelle Hostnamen-Bezeichnung ist hier nicht möglich.
  • Funktioniert mit jedem HTTP-Dienst. Web-Apps, APIs, statische Websites – Cloudflare Tunnel macht dabei keinen Unterschied. Falls Sie ein Dashboard neben Ihrem Modell bereitstellen, übernimmt ein einziger Tunnel beide Aufgaben.

​
Wo Tokios die Oberhand hat

  • Native SSE-Streaming-Unterstützung. Es gibt kein Puffern sowie keine erforderliche Header-Konfiguration. Tokens werden direkt an den Client gesendet, sobald sie generiert werden – der Gateway ist speziell für dieses Verkehrsmuster ausgelegt.
  • Keine zeitliche Begrenzung bei der Generierung. Cloudflares Lese-Timeout von etwa 100 bis 120 Sekunden unterbricht langwierige Generierungsvorgänge. Ein großes Modell, das auf herkömmlicher Hardware 4,000 Tokens erzeugt, überschreitet diese Grenze leicht. Tokios kennt solche Beschränkungen nicht.
  • Integrierte API-Schlüssel. Für jeden Nutzer werden individuelle sk-tok-…-Schlüssel bereitgestellt, die auf bestimmte Deployments beschränkt sind. Bei Cloudflare muss die Authentifizierung separat implementiert werden – etwa mittels Cloudflare Access, Middleware oder einem eigenen API-Gateway.
  • Protokoll-Übersetzung. Der Gateway gewährleistet Kompatibilität mit den OpenAI- sowie Anthropic-APIs. Cloudflare leitet lediglich den Rohdatenverkehr weiter.
  • Einrichtung in 2 Minuten. Ein Installationsbefehl, im Dashboard genehmigen, einen Schlüssel erstellen. Cloudflare Tunnel erfordert das Anlegen von DNS-Einträgen, cloudflared-Konfigurationsdateien und (optional) Cloudflare-Access-Richtlinien.

​
Das Problem mit dem SSE-Puffern

Standardmäßig puffert Cloudflares Proxy Antwortdaten. Dies ist für üblichen Webverkehr sinnvoll, da dadurch die Übertragungsgeschwindigkeit erhöht wird. Bei SSE-Streaming führt dies jedoch dazu, dass der Client lange auf Tokens wartet und schließlich die gesamte Antwort auf einmal erhält – oder vorher ein Timeout eintritt. Laut Cloudflare-Dokumentation werden HTTP-Anfragen nur dann nicht gepuffert, wenn der Ursprungsserver den Header Content-Type: text/event-stream sendet. Einige LLM-Backends setzen diesen Header; andere tun dies nicht. Selbst bei Vorhandensein des Headers können Zwischenproxys oder fehlerhafte Konfigurationen ihn entfernen. Das Ergebnis ist ein Streaming-Endpunkt, der zwar funktioniert scheint, in Wirklichkeit jedoch alle Tokens erst am Ende in einem Rutsch überträgt – wodurch das Streaming nutzlos wird. Tokios’ Gateway erkennt Streaming-Prozesse automatisch und leitet jedes Token unverzüglich an den Client weiter, unabhängig von eventuellen Header-Einstellungen auf der Backend-Seite.

​
Das Problem mit Zeitüberschreitungen

Auf Nicht-Enterprise-Plänen setzt Cloudflares Proxy ein Lese-Timeout von etwa 100 bis 120 Sekunden. Lange Generierungsvorgänge – etwa bei hohem max_tokens, großem Kontextfenster oder langsameren Modellen – überschreiten diese Grenze häufig. In solchen Fällen erhält der Client mitten im Prozess den Fehler 524; das Modell arbeitete indes weiter, doch der Proxy unterbrach die Verbindung. Enterprise-Kunden können dieses Timeout verlängern; dies bedeutet jedoch eine erhebliche Kostensteigerung für eine Funktion, die ansonsten kostenlos angeboten wird. Tokios kennt keine zeitliche Begrenzung für Anfragen. Eine Generierung, die 5 Minuten in Anspruch nimmt, wird vollständig abgeschlossen.

​
Wann sollte man Cloudflare Tunnel wählen?

  • Bereits Teil des Cloudflare-Ökosystems. Die DNS-Einstellungen Ihrer Domain werden von Cloudflare verwaltet, Sie nutzen Cloudflare Access für weitere Dienste – der Einbau eines Tunnels stellt lediglich eine geringfügige Ergänzung dar.
  • Veröffentlichung von Webanwendungen sowie LLMs. Ein Dashboard, eine Demo-Oberfläche sowie ein Modell-API lassen sich mithilfe eines einzigen Tunnels und einer individuellen Domain bereitstellen.
  • Erforderlich sind individuelle Domains. llm.yourdomain.com ist für die Markenidentität sowie die Integration in bestehende Infrastrukturen von großer Bedeutung.
  • Allgemeine Bedürfnisse hinsichtlich Reverse-Proxy. Sie möchten auch andere Dienste als nur LLM-APIs veröffentlichen.

​
Wann sollte man Tokios wählen?

  • Spezifische Nutzung für LLMs. Ihr Hauptziel besteht darin, ein Modell-API mit zuverlässigem Streaming bereitzustellen – nicht die Erstellung allgemeiner Webanwendungen.
  • Erforderlich ist ein stabiles Streaming. Die SSE-Token müssen in Echtzeit übermittelt werden; sie dürfen weder gepuffert noch durch Proxy-Timeouts unterbrochen werden.
  • Erforderlich sind API-Schlüssel. Mehrere Nutzer oder Agenten benötigen zielgerichtete Zugriffsberechtigungen – ohne dass eine eigene Authentifizierungsschicht implementiert werden muss.
  • Sie wollen minimale Einrichtung. 2 Minuten statt 30+ Minuten für DNS, Konfiguration und Access-Richtlinien.

Tunnels und Streaming

Eine ausführliche Erläuterung dazu, warum das Puffern von SSE-Daten sowie Zeitüberschreitungen bei Proxies das Streaming von LLM-Modellen stören.

In welchen Fällen man Tokios einsetzen sollte

Ein ehrlicher Leitfaden dazu, wann Tokios die richtige Wahl ist – und wann nicht.