Nutzen Sie einen vLLM-Server von überall aus

Standardmäßig hört der OpenAI-kompatible vLLM-Server auf Port http://127.0.0.1:8000/v1 zu – er ist von anderen Rechnern nicht erreichbar, es sei denn, Sie erweitern die Bindung oder leiten den Port weiter. Zwar bietet vLLM ein --api-key-Flag, doch die offiziellen Dokumentationen warnen explizit davor, sich allein darauf zu verlassen. Besser ist es, vLLM auf dem lokalen Rechner zu belassen und daneben den Tokios-Connector zu starten: Dieser verbindet sich mit https://api.tokios.com, sodass Ihre Tools, Teammitglieder oder Agenten von überall aus ein authentifiziertes Endpunkt aufrufen können.

Fortgeschrittene Laufzeitumgebung. vLLM ist ein Python-basierter GPU-Server, der auf hohe Durchsatzraten ausgelegt ist; seine Einrichtung und Optimierung erfordern mehr Aufwand als bei herkömmlichen Desktop-Tools. Falls Sie lediglich eine einfache Methode zum Bereitstellen eines Modells suchen, empfiehlt sich der Einsatz von Ollama oder LM Studio – Tokios verknüpft sich mit beiden auf identische Weise.

Das `--api-key`-Verfahren von vLLM stellt nur einen Teilaspekt dar.

vllm serve --api-key <key> requires a bearer token on requests, which is a reasonable first layer. The catch, per vLLM’s own security documentation, is scope: the key check only covers /v1 paths, and other endpoints on the same server are not protected by it. vLLM’s documented recommendation is to put a reverse proxy in front that allowlists only the endpoints you intend to expose — --api-key alone isn’t meant to be your perimeter.

Dies ist keineswegs eine Kritik an vLLM – --api-key erfüllt seine Aufgabe für die definierten Pfade zuverlässig. Es löst jedoch ein anderes Problem als die Authentifizierung sowie Weiterleitung von Anfragen von überall aus. Tokios wurde speziell dafür entwickelt: Es öffnet keinerlei eingehende Ports auf Ihrem vLLM-Host, weshalb es auch nichts zu erlauben gilt.

Der ausschließlich ausgehende Ansatz

Starten Sie vLLM wie gewohnt lokal.

Lassen Sie vLLM auf 127.0.0.1 laufen – verwenden Sie keine breitere Bindung als die Loopback-Adresse. Starten Sie anschließend den OpenAI-kompatiblen Server.

vllm serve mistralai/Mistral-7B-Instruct-v0.2

Stellen Sie sicher, dass er weiterhin auf dem Standard-Port http://127.0.0.1:8000 lauscht.

Verknüpfen Sie den Tokios-Connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Reiter Setup und klicken Sie auf Start pairing. Tokios gibt anschließend einen einmalig gültigen Pairing-Code wie TKS-XXXX-XXXX aus, der etwa 15 Minuten lang gültig bleibt.Auf dem Rechner, auf dem vLLM läuft, führen Sie die Installationsanweisung für Ihr Betriebssystem aus.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Ist tokios-connector bereits installiert? Geben Sie den Code direkt ein.

tokios-connector TKS-XXXX-XXXX

Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

Richten Sie den Connector auf das /v1-API von vLLM aus.

Der OpenAI-kompatible Server von vLLM entspricht bereits den Anforderungen von Tokios. Für die einfache Nutzung mit einem Modell übernimmt der Einrichtungsassistent automatisch http://127.0.0.1:8000/v1 als Upstream-Modell-ID. Bei mehreren Modellen in einer tokios-connector.json-Konfiguration müssen Sie die Upstream-Modell-ID explizit als BaseUrl festlegen.

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8000/v1"
  }
}

Das vollständige Format für die Konfiguration mehrerer Modelle finden Sie unter Connector-Konfiguration.

Erstellen Sie eine Deployment-Instanz.

Im Reiter Models registrieren Sie das vLLM-Modell und wählen Sie einen öffentlichen Namen – etwa mistral-tunnel. Dieser öffentliche Name, nicht die lokale Modell-ID von vLLM, wird von Clients im Feld model übermittelt.

Generieren Sie einen API-Schlüssel.

Im Reiter Keys klicken Sie auf Create key. Optional können Sie den Schlüssel auf bestimmte Deployment-Instanzen beschränken, indem Sie Modellnamenmuster angibt (kommagetrennte Platzhalter; * steht für alle). Kopieren Sie nun den sk-tok-…-Schlüssel – er wird nur einmal angezeigt.

Möchten Sie LoRA-Adapter bereitstellen? Mit --enable-lora und --lora-modules lässt sich vLLM mehrere Adapter über einen einzigen Prozess verwalten; dabei wird jeder Adapter über den Namen im Feld model der Anfrage identifiziert. Registrieren Sie jeden Adapter als eigenständige Tokios-Deployment mit einem öffentlichen Namen – genauso wie andere Modelle. In Model routing erfahren Sie, wie das Gateway den öffentlichen Deployment-Namen auf die entsprechende Upstream-Modell-ID abbildet.

Nutzung von überall aus

Sobald Sie einen Deployment-Namen sowie einen API-Schlüssel besitzen, können alle OpenAI- oder Anthropic-kompatiblen Clients Ihr vLLM-Modell erreichen – unabhängig davon, ob sie sich auf einem anderen Rechner, dem Laptop eines Teammitglieds oder in einem gehosteten Agenten befinden.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="mistral-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mistral-tunnel

Das Feld model enthält stets den registrierten Deployment-Namen (siehe oben mistral-tunnel); niemals die lokale Modell-ID von vLLM. In Use Claude Code wird beschrieben, wie man Umgebungsvariablen über mehrere Sitzungen hinweg beibehält.

Häufig gestellte Fragen

Funktioniert das Streaming?

Ja. Durch Setzen von "stream": true liefert Tokios standardmäßig Server-Sent Events (SSE) im OpenAI- oder Anthropic-Format, je nachdem, welche API-Schnittstelle Sie nutzen.

Ist es möglich, mehrere Modelle oder Adapter über vLLM bereitzustellen?

Ja. Registrieren Sie weitere Deployments im Reiter Models oder nutzen Sie eine tokios-connector.json-Konfigurationsdatei, um mehrere Upstream-Modelle und Routen für einen einzigen Connector zu definieren – besonders nützlich, wenn mehrere vLLM-Prozesse laufen oder ein Prozess mehrere LoRA-Adapter via --lora-modules verwaltet. Weitere Details finden Sie unter Connector config.

Ist das --api-key-Argument von vLLM weiterhin erforderlich?

Sie können es beibehalten, um die Sicherheit der Loopback-Verbindung zwischen Connector und vLLM zu erhöhen; doch es dient nicht der Authentifizierung von Anfragen, die über Tokios eingehen. Anfragen an https://api.tokios.com werden mittels Ihres sk-tok-…-Schlüssels authentifiziert; der Connector selbst ist es, der Zugriff auf 127.0.0.1:8000 erhält.

Lässt sich der Zugriff für Teammitglieder gewähren, ohne vLLM direkt zu exponieren?

Ja. Erstellen Sie für jedes Teammitglied einen separaten sk-tok-…-API-Schlüssel im Reiter Keys und beschränken Sie den Geltungsbereich jedes Schlüssels auf die jeweiligen Deployment-Instanzen. Durch das Deaktivieren eines Schlüssels wird dessen Authentifizierung umgehend unterbunden, sodass Sie den Zugriff entziehen können, ohne vLLM oder den Connector zu verändern.

Ihr Modell verlässt niemals Ihren Rechner – Ihr Endpunkt funktioniert überall.

vLLM arbeitet weiterhin exakt wie bisher auf Ihrem lokalen Rechner, ohne dass eingehende Ports oder Endpunkte außerhalb von /v1 freigegeben werden. Der Connector initiiert lediglich ausgehende Verbindungen. Alles Weitere – Authentifizierung, Routing sowie Datenübertragung – läuft über einen einzigen Endpunkt, den Sie von jedem beliebigen Rechner, Teamkollegen oder Agenten aus aufrufen können, dem Sie einen API-Schlüssel zuweisen.

Schnellstart

Verknüpfen Sie einen Connector und registrieren Sie Ihr erstes Modell in einem durchgängigen Prozess.

API-Schlüssel

Erstellen Sie, legen Sie den Gültigkeitsbereich fest und rotieren Sie sk-tok-…-API-Schlüssel für Teammitglieder sowie Agenten.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Nutzen Sie einen vLLM-Server von überall aus – und das sicher.

Das `--api-key`-Verfahren von vLLM stellt nur einen Teilaspekt dar.

Der ausschließlich ausgehende Ansatz

Nutzung von überall aus

Häufig gestellte Fragen

Ihr Modell verlässt niemals Ihren Rechner – Ihr Endpunkt funktioniert überall.

Schnellstart

API-Schlüssel

​Das --api-key-Verfahren von vLLM stellt nur einen Teilaspekt dar.

​Der ausschließlich ausgehende Ansatz

​Nutzung von überall aus

​Häufig gestellte Fragen

​Ihr Modell verlässt niemals Ihren Rechner – Ihr Endpunkt funktioniert überall.

Schnellstart

API-Schlüssel

Das `--api-key`-Verfahren von vLLM stellt nur einen Teilaspekt dar.

Der ausschließlich ausgehende Ansatz

Nutzung von überall aus

Häufig gestellte Fragen

Ihr Modell verlässt niemals Ihren Rechner – Ihr Endpunkt funktioniert überall.