Nutzen Sie einen SGLang-Server von überall aus

SGLang startet einen Server, der die OpenAI-Chat-Completions-API unterstützt; Tokios leitet Anfragen an beliebige Server weiter, die diese Schnittstelle nutzen. Somit fungiert SGLang als generischer Upstream-Modell-ID-kompatibler Server. Lassen Sie SGLang auf dem lokalen Rechner laufen und starten Sie den Tokios-Connector daneben: Der Connector verbindet sich mit https://api.tokios.com, während Ihre Tools, Teammitglieder oder Agenten von überall aus ein authentifiziertes Endpunkt aufrufen können.

Fortgeschrittene Laufzeitumgebung. SGLang ist ein Python-basierter GPU-Server, der für hohe Durchsatzraten konzipiert wurde; die Einrichtung erfordert mehr Aufwand als bei herkömmlichen Desktop-Tools. Falls Sie den einfachsten Weg suchen, empfiehlt sich der Start mit Ollama oder LM Studio.

SGLang stellt eine OpenAI-kompatible Chat-Completions-API bereit, weshalb er sich mit Tokios genauso verhält wie jeder andere OpenAI-kompatible Server: Der Connector leitet Anfragen an den von Ihnen festgelegten /v1 BaseUrl weiter, unabhängig davon, welcher Server diese Schnittstelle implementiert. Ollama, llama.cpp, vLLM sowie LM Studio sind die von Tokios am ausführlichsten dokumentierten Backends (siehe Unterstützte Backends); SGLang funktioniert jedoch ebenfalls auf dieselbe Weise. Eventuelle Probleme resultieren vermutlich aus der OpenAI-Kompatibilität von SGLang selbst und nicht aus Tokios.

Der rein ausgehende Zugriffsweg

Starten Sie SGLang wie gewohnt lokal.

Lassen Sie SGLang auf 127.0.0.1 laufen – binden Sie es nicht an andere Netzwerke als den Loopback-Adapter. Starten Sie anschließend seinen OpenAI-kompatiblen Server.

python -m sglang.launch_server --model-path <path-or-repo-id> --port 30000

Der Standardwert von --port sowie die Einstellung, ob SGLang standardmäßig auf 127.0.0.1 oder 0.0.0.0 reagiert, variieren je nach Version – falls nötig, binden Sie den Server explizit an den Loopback-Adapter.

Verknüpfen Sie den Tokios-Connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Reiter Setup und klicken Sie auf Start pairing. Tokios zeigt anschließend einen einmalig gültigen Pairing-Code wie TKS-XXXX-XXXX an, der etwa 15 Minuten lang gültig ist.Auf dem Rechner, auf dem SGLang läuft, führen Sie die Installations-Anweisung für Ihr Betriebssystem aus.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Ist tokios-connector bereits installiert? Geben Sie den Code stattdessen direkt ein.

tokios-connector TKS-XXXX-XXXX

Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

Richten Sie den Connector auf die /v1-API von SGLang aus.

Der Server von SGLang verwendet die gleiche OpenAI Chat Completions-Schnittstelle, die Tokios erwartet. Für die einfache Deployment-Variante mit nur einem Modell ermöglicht der Einrichtungs-Assistent in der Konsole das manuelle Eingeben der Upstream-Modell-ID – dazu nutzen Sie bitte http://127.0.0.1:30000/v1. Falls Sie mehrere Modelle mithilfe einer tokios-connector.json-Konfiguration bereitstellen, müssen Sie die Upstream-Modell-ID BaseUrl explizit festlegen, inklusive /v1:

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:30000/v1"
  }
}

Das vollständige Format der Multi-Modell-Konfigurationsdatei finden Sie unter Connector-Konfiguration.

Erstellen Sie eine neue Deployment.

Im Reiter Models registrieren Sie das SGLang-Modell und wählen Sie einen öffentlichen Namen – etwa sglang-tunnel. Dieser öffentliche Name, nicht die lokale Modell-ID von SGLang, wird von Clients im Feld model übermittelt.

Generieren Sie einen API-Schlüssel.

Im Reiter Keys klicken Sie auf Create key. Optional können Sie den Schlüssel auf bestimmte Deployments beschränken, indem Sie Muster für Modellnamen angeben (kommagetrennte Platzhalter; für alle gilt *). Kopieren Sie anschließend den sk-tok-…-Schlüssel – er wird nur einmal angezeigt.

SGLang bietet eine Startoption --api-key, die bei Anfragen an den eigenen Server ein Bearer-Token erfordert. Dies dient als zusätzliche Sicherheitsmaßnahme für die Verbindung zwischen Connector und SGLang, stellt aber nicht die Authentifizierung für externe Anfragen über Tokios sicher – dafür ist Ihr sk-tok-…-Schlüssel zuständig. Prüfen Sie die genaue Syntax sowie ob die Option alle SGLang-Endpunkte oder nur bestimmte /v1-Pfade abdeckt.

Nutzen Sie den Connector von überall aus.

Sobald Sie einen Deployment-Namen sowie einen API-Schlüssel besitzen, kann jeder OpenAI- oder Anthropic-kompatible Client auf Ihr SGLang-Modell zugreifen – unabhängig davon, ob er sich auf einem anderen Rechner, dem Laptop eines Teammitglieds oder einem gehosteten Agenten befindet.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "sglang-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="sglang-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model sglang-tunnel

Das Feld model enthält stets den registrierten Namen Ihrer Deployment-Instanz (siehe oben sglang-tunnel); niemals die lokale Upstream-Modell-ID von SGLang. Weitere Informationen zur dauerhaften Speicherung der Umgebungsvariablen finden Sie unter Verwendung von Claude Code.

Häufig gestellte Fragen

Wird SGLang offiziell von Tokios unterstützt?

Ollama, llama.cpp, vLLM sowie LM Studio sind die Backends, die Tokios am ausführlichsten dokumentiert – siehe dazu Unterstützte Backends. Der Connector prüft jedoch nicht, welcher Server sich hinter dem Upstream verbirgt; er leitet Anfragen an den von Ihnen konfigurierten BaseUrl weiter. Da der Startserver von SGLang dieselbe OpenAI-Chat-Completions-Schnittstelle wie die genannten Backends nutzt, funktioniert alles einwandfrei. Sollte es in Einzelfällen Abweichungen bei der OpenAI-Kompatibilität geben, handelt es sich dabei um ein Detail auf SGLang-Seite, nicht bei Tokios.

Ist das Streaming möglich?

Ja. Wenn Sie "stream": true festlegen, liefert Tokios standardmäßig Server-Sent Events (SSE) im OpenAI- oder Anthropic-Format, je nachdem, welche API-Schnittstelle Sie genutzt haben.

Kann ich über SGLang mehrere Modelle bereitstellen?

Registrieren Sie weitere Deployment-Instanzen im Reiter Models oder nutzen Sie eine tokios-connector.json-Konfigurationsdatei, um mehrere Upstreams sowie Routen für einen einzigen Connector zu definieren – besonders nützlich, wenn Sie mehrere SGLang-Prozesse betreiben. Weitere Details finden Sie unter Connector-Konfiguration.

Ist es möglich, Teammitgliedern Zugriff zu gewähren, ohne SGLang direkt zu öffnen?

Yes. Create a separate sk-tok-… key per teammate in the Keys tab, and scope each key to only the deployments they need. Revoking a key stops it from authenticating immediately, so you can cut off access without touching SGLang or the connector.

Ihr Modell verlässt niemals Ihren Rechner; Ihr Endpunkt bleibt dennoch überall nutzbar.

SGLang funktioniert weiterhin exakt wie bisher auf dem lokalen Rechner, ohne dass eingehende Ports oder Endpunkte außerhalb von /v1 freigegeben werden. Der Connector initiiert lediglich ausgehende Verbindungen. Alles Weitere – Authentifizierung, Routing sowie Datenübertragung – läuft über einen einzigen Endpunkt, den Sie von jedem beliebigen Gerät, Teammitglied oder Agenten aus aufrufen können, dem Sie einen API-Schlüssel zuweisen.

Unterstützte Backends

Hier finden Sie die vollständige Liste der verfügbaren Backends samt den zugehörigen Standard-Upstream-Ports.

API-Schlüssel

Erstellen, definieren und wechseln Sie die sk-tok-…-Schlüssel für Teammitglieder sowie Agenten.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Nutzen Sie einen SGLang-Server von überall aus – und das sicher.

Der rein ausgehende Zugriffsweg

Nutzen Sie den Connector von überall aus.

Häufig gestellte Fragen

Ihr Modell verlässt niemals Ihren Rechner; Ihr Endpunkt bleibt dennoch überall nutzbar.

Unterstützte Backends

API-Schlüssel

​Der rein ausgehende Zugriffsweg

​Nutzen Sie den Connector von überall aus.

​Häufig gestellte Fragen

​Ihr Modell verlässt niemals Ihren Rechner; Ihr Endpunkt bleibt dennoch überall nutzbar.

Unterstützte Backends

API-Schlüssel

Der rein ausgehende Zugriffsweg

Nutzen Sie den Connector von überall aus.

Häufig gestellte Fragen

Ihr Modell verlässt niemals Ihren Rechner; Ihr Endpunkt bleibt dennoch überall nutzbar.