Zum Hauptinhalt springen
Eine lokale LLM-API benötigt zwei Funktionen, die von herkömmlichen Tunneln meist nicht optimal unterstützt werden: Token-Streaming (Server-Sent Events, bei denen Tokens unmittelbar nach der Erzeugung gesendet werden, statt in einer einzigen Antwort zusammengefasst zu werden) sowie langfristig aktive Verbindungen (eine Generierung kann durchaus länger dauern als der Standardzeitlimit eines Proxys). Cloudflare Tunnel, ngrok und Tailscale sind zwar hervorragende Werkzeuge für ihre jeweiligen Einsatzzwecke – doch sie weisen spezifische Einschränkungen auf, die gerade bei LLM-Streaming zum Problem werden. Der Connector von Tokios arbeitet wie ein Tunnel ausschließlich im Ausgangsmodus, wurde jedoch von Anfang an für das Streaming von LLM-Daten konzipiert: Es gibt keine Konfiguration für Lese- oder Schreibzeitüberschreitungen, und die API-Schlüssel beziehen sich auf die jeweiligen Modelle statt auf reine Ports.

​
Die beiden Hauptprobleme

​
Das Streaming wird gepuffert

Ein über SSE übertragenes LLM-Generierungsergebnis sendet die einzelnen Tokens sobald sie entstehen – der Client erwartet eine kontinuierliche Übertragung, nicht eine plötzliche Übertragung des gesamten Inhalts. Einige Reverse-Proxys puffern Antworten standardmäßig, um die Performance bei normalem Webverkehr zu erhöhen; dies ist jedoch für SSE ungeeignet: Der Client wartet vergeblich und erhält schließlich die gesamte Antwort auf einmal – oder stößt vorher auf eine Zeitüberschreitung.
Die obere Leiste zeigt eine gepufferte Antwort, die zunächst leer bleibt und dann plötzlich vollständig erscheint; die untere Leiste zeigt eine gestreamte Antwort, bei der Tokens nach und nach eintreffen.

Gepuffert: Der Client wartet, bis schließlich die gesamte Antwort übermittelt wird. Gestreamt: Tokens werden unmittelbar nach der Erzeugung gesendet.

​
Anfragen dauern länger als das zulässige Zeitlimit

Ein großes Modell auf schwächerer Hardware benötigt oft deutlich mehr Zeit als übliche Webanfragen, um eine Generierung abzuschließen. Jeder Proxy oder Tunnel mit festgelegten Lese- oder Schreibzeitüberschreitungen unterbricht die Verbindung vorzeitig – der Client erhält dann einen Fehlercode statt des eigentlichen Ergebnisses, obwohl das Modell noch aktiv war.

​
Vergleich

Alle oben genannten Einschränkungen entsprechen der offiziellen Beschreibung des Herstellers für den allgemeinen Einsatzzweck – sie stellen keineswegs Fehler dar. Cloudflare Tunnel, ngrok sowie Tailscale erfüllen jeweils ihre vorgesehenen Aufgaben zuverlässig. Probleme treten erst auf, wenn es um LLM-APIs mit lang andauernden Datenströmen geht.

​
Wo Tokios zum Einsatz kommt

Tokios ersetzt weder Tailscale noch Cloudflare Tunnel im Allgemeinen. Nutzen Sie weiterhin Tailscale für SSH-Verbindungen zu einem Heimserver oder Cloudflare Tunnel für Web-Apps mit geringem Datenaufkommen – genau dafür wurden diese Tools entwickelt. Tokios dient speziell als Verbindungsschicht für den Weg, der ein Coding-Agenten oder API-Client mit einem streaming LLM-Endpunkt auf Ihrer eigenen Hardware verbindet – ohne SSE-Pufferung oder Konflikte mit Proxy-Timeout-Einstellungen. Der tokios-connector-Connector sendet Anfragen über einen einzigen ausgehenden WebSocket-Verbindung – das Prinzip ähnelt dem Aufbau eines Tunnels. Im Abschnitt Funktionsweise wird der gesamte Ablauf der Anfragen erläutert. Jede Anfrage wird dabei mittels einem sk-tok-… API-Schlüssel authentifiziert, der auf bestimmte Deployments beschränkt ist; es ist nicht möglich, direkt über einen Port oder Hostnamen auf die Dienste zuzugreifen.

​
Nächste Schritte

Schnellstart

Verknüpfen Sie einen Connector, registrieren Sie ein Modell und senden Sie Ihre erste Streaming-Anfrage.

Wie Tokios Anfragen routet

Hier finden Sie eine detaillierte Beschreibung der rein ausgehenden Architektur sowie des Anfragenflusses.
Eine ausführliche Analyse des SSE-Pufferverhaltens bei Cloudflare sowie der Proxy-Timeout-Dauer von ca. 100 bis 120 Sekunden bei nicht-Enterprise-Plänen finden Sie im Dokument Tokios im Vergleich zu Cloudflare Tunnel. Darin werden auch spezifische Fehlerursachen sowie die Einsatzmöglichkeiten von Edge-Infrastrukturen für Streaming-Inferenzen erläutert.
Möchten Sie Ollama bereitstellen? In dem Dokument Ferner Zugriff auf Ollama finden Sie Einrichtungshinweise speziell für diese Backend-Plattform.