Zum Hauptinhalt springen
Falls Ihr Internetanbieter Carrier-Grade-NAT einsetzt, lässt sich kein Port auf Ihren Rechner weiterleiten, da es keine individuelle öffentliche IPv4-Adresse gibt. Starten Sie stattdessen tokios-connector neben Ihrem Modell: Es verbindet sich nach außen mit https://api.tokios.com, sodass weder eine öffentliche IP noch eine Portweiterleitung sowie keine Router- oder Provider-Anpassungen nötig sind. So erhalten Sie ein stabiles, authentifiziertes Endpunkt, das von überall erreichbar ist.
Ein eingehender Anfrageversuch wird von der CGNAT-Firewall abgelehnt, da keine öffentliche IP oder Portweiterleitung möglich ist; der ausgehende Verbindungsaufbau des Tokios-Connectors durchdringt die Firewall und erreicht das Tokios-Gateway.

Eingehende Verbindungen scheitern an der CGNAT-Infrastruktur Ihres Providers – es gibt keinen freizugebenden Port. Der ausgehende Verbindungsaufbau des Connectors gelingt hingegen problemlos.

​
Befinden Sie sich hinter CGNAT?

Eine Prüfung von nur 2 Minute genügt. Öffnen Sie die Verwaltungsseite Ihres Routers, suchen Sie nach der WAN- bzw. Internet-Adresse und vergleichen Sie diese mit der öffentlichen Adresse, die Seiten wie ifconfig.me anzeigen:
  • WAN-Adresse innerhalb des Bereichs 100.64.0.0 bis 100.127.255.255 – Sie befinden sich hinter CGNAT. Dieser Adressbereich (gemäß RFC 6598) ist explizit für Carrier-Grade-NAT reserviert.
  • WAN-Adresse in einem privaten Bereich (10.x.x.x, 172.16–31.x.x, 192.168.x.x) – Es existiert eine weitere NAT-Schicht oberhalb Ihres Routers, die ebenfalls eingehende Verbindungen blockiert.
  • WAN-Adresse entspricht der öffentlichen Adresse – Sie verfügen über eine echte öffentliche IP; klassische Portweiterleitung ist zumindest theoretisch möglich (obwohl das Modell-API dadurch im offenen Internet ungeschützt bleibt).
Falls einer der ersten 2 Fälle zutrifft, lässt sich durch keine Router-Einstellung eingehender Datenverkehr auf Ihren Rechner leiten – lesen Sie weiter.

​
Warum CGNAT die Portweiterleitung blockiert

Die Port-Weiterleitung funktioniert, indem man dem Router mitteilt: „Der Datenverkehr, der auf meine öffentliche IP-Adresse am Port X zugreift, soll an dieses Gerät in meinem lokalen Netzwerk weitergeleitet werden.“ Dies ist jedoch nur möglich, wenn der Router überhaupt eine eigene öffentliche IPv4-Adresse besitzt. Bei CGNAT ist das nicht der Fall. Ein Internetanbieter verfügt über mehr Kunden als öffentliche IPv4-Adressen; daher stellt er mehreren Kunden dieselbe öffentliche IP-Adresse zur Verfügung und weist jedem Haushalt eine private Adresse zu. Die „öffentliche“ Seite des Routers ist in Wirklichkeit lediglich eine weitere private Adresse im internen Netzwerk des Anbieters – es existiert keine eindeutige eingehende Adresse, an die eine Portweiterleitungsregel gebunden werden könnte. Folgende Konsequenzen ergeben sich daraus:
  • Unabhängig von der Konfiguration des Routers lässt sich Port 11434 (oder irgendein anderer Port) nicht für eingehenden Datenverkehr öffnen.
  • Dieses Problem kann man selbst nicht beheben – es handelt sich um eine Einstellung auf Geräten innerhalb des Netzwerks des Anbieters, nicht auf eigenen Geräten.
  • Es ist gelegentlich möglich, beim Anbieter eine dedizierte öffentliche IP anzufordern (oft als kostenpflichtiges Zusatzangebot für Geschäftskunden); doch diese lässt sich nicht direkt konfigurieren und wird nicht zwingend angeboten.
Aus diesem Grund ist das bloße Öffnen eines Ports für viele Privatnutzer keine Option; deshalb gibt es Workarounds wie die Nutzung eines VPS zur Verkehrsweiterleitung oder das Einrichten von Reverse-SSH-Tunneln zu einem eigenen Server. Beide Methoden erfordern den Betrieb sowie die Absicherung eines separaten, ständig laufenden Servers, um überhaupt eingehende Verbindungen zu ermöglichen. Eine rein ausgehende Verbindung umgeht das Problem hingegen direkt. CGNAT ist kein Ausnahmefall – ganze Kategorien von Internetverbindungen nutzen es standardmäßig:
  • Starlink setzt bei Standard-Residenzanschlüssen CGNAT ein; eine öffentliche IPv4-Adresse wird erst in teureren Tarifen angeboten. Wer ein Upstream-Modell-ID-Modell über eine Starlink-Verbindung bereitstellt, kann von Tag 1 an keine Portweiterleitung nutzen.
  • 4G/5G-Heiminternet (z. B. T-Mobile Home Internet) setzt fast durchgehend auf CGNAT; bei Privattarifen gibt es keinerlei Option für eine öffentliche IP-Adresse.
  • Wohnungs- und Glasfaser-ISPs, die Ihnen eine gemeinsam genutzte Gebäudeadresse oder eine ISP-NAT-Adresse zuweisen, verhalten sich alle gleich.
Die nachfolgend beschriebene rein ausgehende Konfiguration funktioniert bei allen gleichermaßen, da der Connector niemals einen eingehenden Datenpfad benötigt.

​
Die rein ausgehende Lösung

Der tokios-connector nimmt niemals eingehende Verbindungen entgegen. Stattdessen etabliert er eine wss://-Verbindung nach außen zu Tokios – in derselben Richtung, die Ihr Browser bereits zum Laden von Webseiten nutzt. Dadurch erkennen CGNAT, Ihr Router-NAT sowie die meisten Firewalls diesen Vorgang als völlig normal an.
1

Führen Sie Ihr Modell wie gewohnt lokal aus.

Starten Sie Ihr Backend auf übliche Weise – ohne OLLAMA_HOST=0.0.0.0, ohne Parameter zum Binden an alle Schnittstellen sowie ohne Änderungen am Router. Beispielsweise bei Ollama:
Lassen Sie es auf http://127.0.0.1:11434 lauschen (Ollamas Standardeinstellung). Tokios funktioniert ebenfalls mit llama.cpp, vLLM und LM Studio – siehe Unterstützte Backends.
2

Verknüpfen Sie den Connector.

Melden Sie sich bei tokios.com/console an, öffnen Sie den Reiter Setup und klicken Sie auf Start pairing. Tokios gibt anschließend einen einmalig gültigen Pairing-Code im Format TKS-XXXX-XXXX aus, der etwa 15 Minuten lang gültig bleibt.Auf dem Rechner, auf dem Ihr Modell läuft, führen Sie die Installationsanweisung für Ihr Betriebssystem aus.
Windows
macOS
Linux
Ist tokios-connector bereits installiert? Geben Sie den Code direkt ein.
Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.
3

Eine Deployment-Instanz registrieren

Auf dem Models-Reiter registrieren Sie Ihr lokales Modell und wählen Sie einen öffentlichen Namen – beispielsweise llama3-tunnel. Clients übermitteln diesen öffentlichen Namen, nicht die lokale Upstream-Modell-ID Ihres Backends, im Feld model jeder Anfrage.
4

Einen API-Schlüssel erstellen

Auf dem Keys-Reiter klicken Sie auf Create key. Optional können Sie den Schlüssel auf bestimmte Deployment-Instanzen beschränken, indem Sie Modellnamen-Muster angeben (kommagetrennte Platzhalter; * steht für alle). Kopieren Sie den sk-tok-…-Schlüssel nun – er wird nur einmal angezeigt.
Weder Ihr Router noch Ihr ISP oder Ihre öffentliche IP-Adresse spielen in diesem Prozess eine Rolle. Der Connector hat eine Verbindung hergestellt; die Konsole hat sie genehmigt; das Modell ist nun über Tokios’ Endpunkt erreichbar – unabhängig von Ihrem Netzwerk.

​
Überall nutzbar

Das Feld model enthält stets den registrierten Deployment-Namen, niemals die lokale Upstream-Modell-ID Ihres Backends. Lesen Sie unter Verwendung mit Claude Code nach, wie man diese Umgebungsvariablen über mehrere Sitzungen hinweg beibehält.
Strenge Unternehmens- oder Campus-Firewalls verursachen dasselbe Problem wie CGNAT: Eingehende Verbindungen werden blockiert, selbst wenn man eine öffentliche IP besitzt. Da der Connector ausschließlich ausgehende wss://-Verbindungen initiiert, funktioniert die Einrichtung auch hinter solchen Firewalls – ohne dass Ausnahmeanträge nötig wären.

​
Ihr Modell bleibt auf Ihrer Hardware; Ihr Endpunkt ist überall nutzbar

Durch CGNAT kontrolliert Ihr ISP die eingehende Erreichbarkeit Ihres Heimnetzwerks – nicht Sie. Um dies zu umgehen, müsste man einen Relay-Server mieten oder einen SSH-Tunnel einrichten – was den Aufbau und die Absicherung eines separaten Servers erfordert. Der Connector macht diese Voraussetzung überflüssig: Er stellt einmal eine Verbindung her, Sie genehmigen sie – danach dient https://api.tokios.com als stabiler Adresspunkt für Clients, unabhängig davon, wie Ihr ISP mit Ihrer IP-Adresse verfährt.

Schnellstart

Verknüpfen Sie einen Connector mit Ihrem System und registrieren Sie Ihr erstes Modell in wenigen Schritten.

Tunnels im Vergleich zu Tokios

Erfahren Sie, wie Tokios im Vergleich zu Cloudflare Tunnel, ngrok sowie Tailscale bei der Übertragung von LLM-Daten abschneidet.

In welchen Fällen sollte man Tokios einsetzen?

CGNAT stellt eine Einschränkung dar; dieser Entscheidungsrahmen berücksichtigt zudem weitere Faktoren: Teamgröße, Kompatibilität der Agenten, Anforderungen an Luftgaps sowie Situationen, in denen ein anderes Werkzeug besser geeignet ist.