Stellen Sie Modelle von Ihrem Homelab-GPU-Server für Ihr Team bereit.

Ihr Homelab-Server stellt die Modelle bereits problemlos im eigenen lokalen Netzwerk bereit. Die Herausforderung besteht darin, dass auch Teammitglieder oder Anwendungen außerhalb desselben Netzwerks darauf zugreifen können – insbesondere wenn Ihr Internetanbieter CGNAT nutzt, wodurch Portweiterleitungen unmöglich werden. Starten Sie tokios-connector neben Ihrer Laufzeitumgebung; dadurch erhalten Sie einen authentifizierten Endpunkt unter https://api.tokios.com, den jeder Ihrer eingeladenen Nutzer nutzen kann – ohne eingehende Ports, ohne Routeranpassungen und ohne dass direkter Zugriff auf den Server nötig ist.

Das Problem der Erreichbarkeit im Homelab

Ein Homelab-GPU-Server ist meist headless, in einem Schrank oder Rack untergebracht und nutzt Ollama, vLLM oder llama.cpp für alle Nutzer im lokalen Netzwerk. Die Freigabe außerhalb dieses Netzwerks stößt jedoch auf mehrere Hindernisse:

Keine öffentliche IP-Adresse für Weiterleitungen. Wenn Ihr Anbieter CGNAT einsetzt, existiert zunächst keine eindeutige IP-Adresse, an die eine Portweiterleitungsregel gebunden werden könnte – siehe Bereitstellung eines lokalen LLM hinter CGNAT zur Erklärung, warum dies eine Router-Einstellung ist, die Sie nicht selbst ändern können.
Selbst bei Verfügbarkeit möchten Sie den Server nicht öffentlich zugänglich machen. Die Bindung der Laufzeitumgebung an 0.0.0.0 und die Weiterleitung eines Ports verwandeln Ihren GPU-Server in einen ungeschützten Dienst im Internet; jeder, der den Port entdeckt, kann Anfragen senden.
Gemeinsamer Zugriff bedeutet uneingeschränkte Freigabe. Die Weitergabe Ihres Tailscale-Knotens oder eines direkt gebundenen Ports gewährt dem Empfänger – sowie allen Programmen auf dessen Gerät – exakt denselben Zugriff wie Ihnen; es gibt keine individuellen API-Schlüssel, und man kann niemanden ausschließen, ohne alle anderen ebenfalls zu blockieren.

Tokios bildet die Connector-Schicht, die sich über Ihre bereits laufende Laufzeitumgebung legt – es ersetzt weder Ollama, vLLM noch llama.cpp.

Richten Sie Tokios auf Ihrem Server ein.

Starten Sie Ihre Laufzeitumgebungen auf dem Server.

Starten Sie Ihren Modell-Server wie gewohnt, beispielsweise:

ollama serve

oder

vllm serve meta-llama/Llama-3.1-8B-Instruct

Lassen Sie ihn auf der Standard-Loopback-Adresse lauschen. Stellen Sie sicher, dass er auf Anfragen über seinen eigenen OpenAI-kompatiblen /v1 API reagiert, bevor Sie den Connector hinzufügen.

Beziehen Sie einen Berechtigungscode und verknüpfen Sie den Connector

Öffnen Sie im dashboard das Setup-Reiter und wählen Sie Start pairing aus, um einen einmalig gültigen Berechtigungscode im Format TKS-XXXX-XXXX zu erhalten (gültig für etwa 15 Minuten). Führen Sie anschließend auf dem Server folgenden Befehl aus:

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Ist tokios-connector bereits installiert? Geben Sie den Code direkt ein:

tokios-connector TKS-XXXX-XXXX

Kehren Sie zum Dashboard zurück und approve Sie das Gerät im Setup- oder Connectors-Reiter. Nach Genehmigung wird das Token des Connectors (ct-tok-…) über den Tunnel übermittelt – Sie sehen es weder auf dem Bildschirm noch müssen Sie es in eine Datei eintragen.

Richten Sie den Connector auf Ihre Upstream-Modell-Instanzen aus

Der Upstream des Connectors ist die OpenAI-kompatible API Ihres Servers, nicht ein extern zugänglicher Port. Standardmäßige Ports: Ollama 11434, llama.cpp 8080, vLLM 8000, LM Studio 1234 – jeweils mit /v1 als Erweiterung. Bei Ollama verweisen Sie auf dessen /v1 OpenAI-kompatible API, nicht auf die native Schnittstelle /api. Es sind keine Firewall-Regeln für eingehende Verbindungen erforderlich – der Connector initiiert lediglich ausgehende Verbindungen.

Registrieren Sie jeweils eine Deployment-Instanz pro Modell

Im Models-Reiter weisen Sie jede Upstream-Modell-ID (zum Beispiel llama3.1) einem öffentlichen Deployment-Namen zu, den Ihr Team nutzt, etwa homelab-llama. Clients übermitteln diesen Deployment-Namen im Feld model jeder Anfrage – niemals die Upstream-ID.

Erstellen Sie API-Schlüssel, die auf einzelne Teammitglieder beschränkt sind

Auf dem Keys-Reiter klicken Sie auf Create key für jeden Teamkollegen bzw. jedes App-Element. Weisen Sie jedem API-Schlüssel spezifische Muster für Deployment-Bezeichnungen zu (durch Kommas getrennte Platzhalter, * steht für alle), sodass ein Teammitglied nur auf die vorgesehenen Modelle zugreifen kann. Die Schlüssel sind sk-tok-… Bearer-Tokens, die beim Erstellen nur einmal angezeigt werden – kopieren Sie sie vor dem Verlassen der Seite.

Mehrere Modelle gleichzeitig bereitstellen

Wenn auf Ihrem Rechner mehr als ein Modell läuft oder Sie Anfragen gleichzeitig auf Ollama, llama.cpp und vLLM verteilen, verwenden Sie die Connector-Konfigurationsdatei anstelle des Pairing-Ablaufs mit einem einzelnen Upstream. Definieren Sie in tokios-connector.json Routes und Upstreams im Abschnitt Connector – einen Upstream pro Backend, jeweils mit eigener BaseUrl (einschließlich /v1) – und übergeben Sie die Datei mit --config. Wie Sie die resultierenden Deployments hinter demselben Endpunkt registrieren und zwischen ihnen wechseln, erfahren Sie unter Modell-Routing.

Überall nutzbar

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "homelab-llama",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello from the team laptop"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="homelab-llama",
    messages=[{"role": "user", "content": "Hello from the team laptop"}],
)

Das Feld model enthält stets den registrierten Deployment-Namen, niemals die Upstream-Modell-ID. Unter Claude Code nutzen finden Sie Anleitungen, wie Sie Ihren Heimserver von claude --model homelab-llama aus aufrufen können.

Warum ein gemeinsamer Endpunkt für das gesamte Team?

Auf dem System dürfen niemals eingehende Ports aktiv sein. Der Connector stellt ausschließlich ausgehende Verbindungen her, weshalb Teammitglieder keinen VPN-Peer, keinen SSH-Tunnel sowie keinen konfigurierten 0.0.0.0-Port benötigen, um den Server zu erreichen – unabhängig davon, ob Sie hinter CGNAT arbeiten oder nicht.
Einzelne Teammitglieder können jederzeit von der Nutzung ausgeschlossen werden. Da jeder Nutzer über einen eigenen sk-tok-… API-Schlüssel verfügt, genügt es, diesen im Keys-Reiter zu deaktivieren oder zu löschen; dadurch wird der Zugriff des jeweiligen Nutzers sofort unterbunden, während alle übrigen Schlüssel weiterhin funktionieren.
Modellwechsel ohne Änderungen an der Client-Konfiguration. Weisen Sie einem Deployment-Namen ein anderes Upstream-Modell oder einen anderen Backend-Dienst zu – alle Teamkollegen sowie Skripte, die bisher homelab-llama nutzten, arbeiten weiterhin problemlos.

Nächste Schritte

Schnellstart

Erfahren Sie, wie Sie in wenigen Schritten einen funktionierenden Connector, eine Deployment-Konfiguration sowie einen API-Schlüssel einrichten.

Das LLM, das hinter CGNAT arbeitet

Warum Portweiterleitungen bei Wohnungs-Internetanbietern scheitern und wie der Connector dieses Problem umgeht.

Referenz zur Konfiguration des Connectors

Mit tokios-connector.json können mehrere Modelle von einem einzigen Server aus bereitgestellt werden.

Modell-Routing

Es ist möglich, mehrere Deployments hinter einem einzigen Endpunkt zu registrieren und zwischen ihnen zu wechseln.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Stellen Sie Modelle von Ihrem Homelab-GPU-Server für Ihr Team bereit.

Das Problem der Erreichbarkeit im Homelab

Richten Sie Tokios auf Ihrem Server ein.

Mehrere Modelle gleichzeitig bereitstellen

Überall nutzbar

Warum ein gemeinsamer Endpunkt für das gesamte Team?

Nächste Schritte

Schnellstart

Das LLM, das hinter CGNAT arbeitet

Referenz zur Konfiguration des Connectors

Modell-Routing

​Das Problem der Erreichbarkeit im Homelab

​Richten Sie Tokios auf Ihrem Server ein.

​Mehrere Modelle gleichzeitig bereitstellen

​Überall nutzbar

​Warum ein gemeinsamer Endpunkt für das gesamte Team?

​Nächste Schritte

Schnellstart

Das LLM, das hinter CGNAT arbeitet

Referenz zur Konfiguration des Connectors

Modell-Routing

Das Problem der Erreichbarkeit im Homelab

Richten Sie Tokios auf Ihrem Server ein.

Mehrere Modelle gleichzeitig bereitstellen

Überall nutzbar

Warum ein gemeinsamer Endpunkt für das gesamte Team?

Nächste Schritte