127.0.0.1:11434 – nur der eigene Rechner kann darauf zugreifen. Durch Festlegen von OLLAMA_HOST=0.0.0.0 wird es auf allen Netzwerkschnittstellen aktiv; allerdings verfügt Ollama über keine integrierte Authentifizierung: Jeder, der Zugang zum Port 11434 hat, kann die API ohne Anmeldedaten nutzen. Besser ist es, Ollama auf dem lokalen Rechner zu belassen und den Tokios-Connector daneben zu starten: Dieser verbindet sich mit https://api.tokios.com, sodass Werkzeuge, Teammitglieder oder Agenten von überall aus den authentifizierten Endpunkt 1 nutzen können.
Was Nutzer zuerst ausprobieren – und worauf sie achten müssen
Alle genannten Werkzeuge sind durchaus brauchbare Allzweck-Tools. Keines wurde speziell dafür entwickelt, eine lokale Inferenz-API öffentlich zugänglich zu machen; daher weisen sie jeweils Einschränkungen auf, die sich gerade in diesem Szenario bemerkbar machen.OLLAMA_HOST=0.0.0.0 (Bindung an alle Schnittstellen)
OLLAMA_HOST=0.0.0.0 (Bindung an alle Schnittstellen)
Portweiterleitung über den Router
Portweiterleitung über den Router
11434 auf den eigenen Rechner birgt zwei Probleme. Falls der Internetanbieter CGNAT nutzt, besitzt man ohnehin keine stabile öffentliche IP-Adresse. Selbst wenn ein Port geöffnet wird, indexieren Suchdienste wie Shodan und Censys die betreffenden Dienste innerhalb weniger Stunden – und wie zuvor: Ohne zusätzliche Authentifizierung ist der Port ungeschützt.Tailscale
Tailscale
Cloudflare Tunnel
Cloudflare Tunnel
text/event-stream Content-Type-Header enthält. Zudem unterliegen proxierte Anfragen den Zeitlimits von Cloudflare (im kostenlosen Tarif etwa 100 Sekunden; bei manchen Tarifen sogar kürzer). Dadurch können lange Antwortprozesse mitten im Stream abgebrochen werden.ngrok (kostenloser Tarif)
ngrok (kostenloser Tarif)
Der ausschließlich ausgehende Ansatz
Starten Sie Ollama wie gewohnt lokal.
127.0.0.1 laufen – setzen Sie OLLAMA_HOST nicht. Laden Sie anschließend Ihr Modell herunter und führen Sie es aus.http://127.0.0.1:11434 weiterhin lauscht.Verknüpfen Sie anschließend den Tokios Connector.
TKS-XXXX-XXXX aus, der etwa 15 Minuten lang gültig ist.Führen Sie auf dem Rechner, auf dem Ollama läuft, die Installations-Anweisung für Ihr Betriebssystem aus.tokios-connector bereits installiert? Geben Sie den Code stattdessen direkt ein.Richten Sie den Connector so ein, dass er die /v1-API von Ollama nutzt.
/v1 bereit, mit der Tokios kommuniziert – nicht mit Ollamas nativen /api-Endpunkten. Für die einfache Nutzung mit einem einzigen Modell wählt der Einrichtungs-Assistent automatisch http://127.0.0.1:11434/v1 als Upstream-Modell. Bei mehreren Modellen in einer tokios-connector.json-Konfiguration müssen Sie die Upstream-Modell-ID BaseUrl manuell festlegen.Erstellen Sie eine neue Deployment.
llama3-tunnel. Dieser öffentliche Name, nicht die lokale Upstream-Modell-ID von Ollama, wird von Clients im Feld model übermittelt.Generieren Sie einen API-Schlüssel.
* gelten alle). Kopieren Sie nun den sk-tok-…-Schlüssel – er wird nur einmal angezeigt.Nutzen Sie ihn anschließend von beliebigen Orten aus.
Sobald Sie einen Deployment-Namen sowie einen API-Schlüssel besitzen, kann jeder OpenAI- oder Anthropic-kompatible Client Ihr Ollama-Modell erreichen – unabhängig davon, ob er sich auf einem anderen Rechner, dem Laptop eines Teammitglieds oder einem gehosteten Agenten befindet.Tokios im Vergleich zu Ollama Cloud
Ollama stellt zudem Ollama Cloud bereit – gehostete Modelle, auf die Sie überollama run <model>:cloud oder einen Ollama API-Schlüssel zugreifen können. Dabei werden die Modellgewichte auf der Infrastruktur von Ollama ausgeführt und über Ihren lokalen ollama-Daemon weitergeleitet, solange Sie angemeldet sind. Diese Variante ist zwar praktisch, doch sie stellt das Gegenteil von einer Selbsthosting-Lösung dar: Ihre Anfragen gelangen zu Ollama-Servern, und ein :cloud-Tag enthält keine lokalen Gewichte, die Sie steuern könnten. Aus genau diesem Grund sind einige Spitzenmodelle – etwa Kimi, MiniMax sowie die größten Varianten der Nemotron-Reihe – ausschließlich über :cloud verfügbar.
Tokios dient dem anderen Szenario: Das Modell läuft auf Ihrer Hardware, während Tokios lediglich einen authentifizierten Endpunkt davor bereitstellt. Sie behalten die volle Kontrolle über die Modellgewichte, den Datenspeicherort sowie die API-Schlüssel.
:cloud-Modell zugreifen – doch nur die lokale Variante sichert Ihre Daten auf Ihrer eigenen Hardware.
Häufig gestellte Fragen
Welchen Port nutzt Ollama?
Welchen Port nutzt Ollama?
127.0.0.1 erfolgt (ausschließlich localhost). Mithilfe der Umgebungsvariable OLLAMA_HOST lässt sich sowohl der Port als auch die Bindeadresse ändern – beispielsweise sorgt OLLAMA_HOST=0.0.0.0:11435 dafür, dass Ollama auf allen Schnittstellen am Port 11435 erreichbar ist. Prüfen Sie den Betriebsstatus mittels curl http://localhost:11434.Wie stelle ich Ollama in meinem Netzwerk verfügbar?
Wie stelle ich Ollama in meinem Netzwerk verfügbar?
OLLAMA_HOST=0.0.0.0 (oder OLLAMA_HOST=0.0.0.0:11434) und starten Sie Ollama neu. Unter Linux mit systemd fügen Sie Environment="OLLAMA_HOST=0.0.0.0:11434" unter [Service] in ollama.service hinzu und führen anschließend systemctl daemon-reload && systemctl restart ollama aus. Auf macOS nutzen Sie launchctl setenv OLLAMA_HOST "0.0.0.0:11434". Unter Windows legen Sie OLLAMA_HOST in den Benutzereinstellungen fest und starten Ollama erneut.Besitzt Ollama einen API-Schlüssel?
Besitzt Ollama einen API-Schlüssel?
sk-tok-… API-Schlüssel ohne solche Proxy-Lösungen: Man verknüpft einen Connector, registriert eine Deployment-Einstellung und generiert anschließend einen Schlüssel – Anfragen werden dann gegen https://api.tokios.com authentifiziert, nicht gegen den eigentlichen Ollama-Port.Wie rufe ich Ollama mittels curl auf?
Wie rufe ich Ollama mittels curl auf?
curl http://localhost:11434/api/generate -d '{"model": "llama3", "prompt": "Hello"}'. Für die OpenAI-kompatible Schnittstelle gilt: curl http://localhost:11434/v1/chat/completions -d '{"model": "llama3", "messages": [{"role": "user", "content": "Hello"}]}'. Von einem entfernten Rechner aus muss localhost durch die IP-Adresse des Servers ersetzt werden (dafür ist OLLAMA_HOST=0.0.0.0 erforderlich).Lässt sich Ollama mit OLLAMA_ORIGINS für Cross-Origin-Anfragen nutzen?
Lässt sich Ollama mit OLLAMA_ORIGINS für Cross-Origin-Anfragen nutzen?
127.0.0.1 sowie 0.0.0.0. Durch Setzen von OLLAMA_ORIGINS lassen sich weitere Ursprungsadressen hinzufügen; für Browser-Erweiterungen ist OLLAMA_ORIGINS=chrome-extension://*,moz-extension://* zu verwenden. Dies gilt ausschließlich für browserbasierte Clients; API-Clients, die curl oder SDKs nutzen, unterliegen nicht den CORS-Regeln.Funktioniert das Streaming-Verfahren?
Funktioniert das Streaming-Verfahren?
"stream": true, und Tokios liefert Server-Sent Events (SSE) im OpenAI- oder Anthropic-Format – je nach gewählter API-Schnittstelle.Kann ich Teammitgliedern Zugriff gewähren, ohne mein Ollama-Instanz direkt freizugeben?
Kann ich Teammitgliedern Zugriff gewähren, ohne mein Ollama-Instanz direkt freizugeben?
sk-tok-… Schlüsselpaar im Bereich Keys und begrenzen Sie dessen Gültigkeit auf die jeweils benötigten Deployment-Einstellungen. Durch Deaktivierung eines Schlüssels wird die Authentifizierung sofort blockiert – somit lässt sich der Zugriff ohne Änderungen an Ollama oder dem Connector entziehen.Lässt sich mehr als 1 Ollama-Modell bereitstellen?
Lässt sich mehr als 1 Ollama-Modell bereitstellen?
tokios-connector.json Konfigurationsdatei, um mehrere Upstream-Modell-IDs sowie Routen für einen einzigen Connector festzulegen. Nähere Informationen finden Sie unter Connector-Konfiguration.Wird dabei die native /api-Schnittstelle von Ollama genutzt?
Wird dabei die native /api-Schnittstelle von Ollama genutzt?
/v1 OpenAI-kompatibler API kommuniziert und nicht mit den nativen /api/generate bzw. /api/chat Endpunkten.Ihr Upstream-Modell verlässt niemals Ihren Rechner – Ihr Endpunkt ist überall nutzbar.
Ollama funktioniert weiterhin exakt wie bisher auf Ihrem lokalen Rechner, ohne eingehende Ports oder exponierte API. Der Connector initiiert lediglich ausgehende Verbindungen. Alles Weitere – Authentifizierung, Routing sowie Datenübertragung – geschieht über einen einzigen Endpunkt, den Sie von jedem beliebigen Rechner, Teammitglied oder Agenten aus aufrufen können, dem Sie einen API-Schlüssel zuweisen.Schnellstart
API-Schlüssel
sk-tok-…-Schlüssel für Teammitglieder sowie Agenten.