Nutzen Sie einen Xinference-Server von überall aus – sicher und zuverlässig

Xinference (Xorbits Inference) stellt Modelle über eine OpenAI-kompatible API auf Ihrem lokalen Rechner bereit; standardmäßig reagiert diese API nur auf Anfragen vom localhost aus. Daher ist sie von anderen Geräten nicht erreichbar, es sei denn, Sie erweitern die Zugriffsberechtigungen oder leiten den Port weiter. Bewahren Sie Xinference lieber auf localhost auf und starten Sie daneben den Tokios-Connector: Dieser verbindet sich mit https://api.tokios.com, sodass Ihre Werkzeuge, Teammitglieder oder Agenten von überall aus ein authentifiziertes Endpunkt aufrufen können.

Fortgeschrittene Laufzeitumgebung. Xinference ist ein Framework zur Modellbereitstellung, das vor allem für komplexere Szenarien konzipiert wurde. Falls Sie lediglich eine einfache Methode zur Modellbereitstellung suchen, empfiehlt sich stattdessen Ollama oder LM Studio.

Xinference stellt eine OpenAI-kompatible Chat-Completions-API bereit, weshalb er mit Tokios wie jeder andere OpenAI-kompatible Server funktioniert: Der Connector leitet Anfragen an die von Ihnen festgelegten /v1 BaseUrl weiter, unabhängig davon, welcher Server diese Schnittstelle implementiert. Ollama, llama.cpp, vLLM sowie LM Studio sind die Backends, die in Tokios am ausführlichsten dokumentiert sind; dennoch funktioniert auch Xinference – sofern er OpenAI-kompatibel ist – auf identische Weise.

Der ausschließlich ausgehende Ansatz

Starten Sie Xinference wie gewohnt lokal

Starten Sie den lokalen Xinference-Server – beispielsweise mittels xinference-local – und laden Sie anschließend ein Modell über dessen Benutzeroberfläche oder Kommandozeile. Die genauen Startbefehle und Parameter können je nach Version variieren; prüfen Sie daher die Dokumentation Ihrer Version.

xinference-local

Üblicherweise nutzt Xinference für seine OpenAI-kompatible API den Port 9997 – vergewissern Sie sich, welcher Port bei Ihrer Installation standardmäßig verwendet wird. Geben Sie diesen Port bitte als 127.0.0.1 an und vermeiden Sie die Angabe von 0.0.0.0; leiten Sie den Port zudem nicht über Ihren Router weiter.

Verknüpfen Sie den Tokios-Connector

Melden Sie sich bei tokios.com/console an, öffnen Sie den Reiter Setup und klicken Sie auf Start pairing. Tokios gibt anschließend einen einmalig gültigen Pairing-Code wie TKS-XXXX-XXXX aus, der etwa 15 Minuten lang verwendbar ist.Führen Sie auf dem Rechner, auf dem Xinference läuft, die Installations-Anweisung für Ihr Betriebssystem aus.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Ist tokios-connector bereits installiert? Geben Sie den Code stattdessen direkt ein.

tokios-connector TKS-XXXX-XXXX

Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

Richten Sie den Connector auf das /v1-API von Xinference aus.

Bei der einfachen Nutzung eines einzelnen Modells fragt der Einrichtungs-Assistent nach der Upstream-Basis-URL – geben Sie dort Xinferences OpenAI-kompatiblen Endpunkt ein, http://127.0.0.1:<port>/v1 (vergleichen Sie die Port-Nummer mit Ihrer Installation). Falls mehrere Modelle über eine tokios-connector.json-Konfiguration bereitgestellt werden, legen Sie die Upstream-BaseUrl explizit fest.

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:9997/v1"
  }
}

Überprüfen Sie 9997 anhand Ihrer laufenden Xinference-Instanz, bevor Sie es verwenden. Das vollständige Format für mehrfache Modelle finden Sie unter Connector-Konfiguration.

Erstellen Sie eine neue Deployment.

Wählen Sie im Reiter Models das Xinference-Modell aus und vergeben Sie einen öffentlichen Namen, etwa xinference-tunnel. Dieser öffentliche Name – nicht die Upstream-Modell-ID – wird von Clients im Feld model übermittelt.

Generieren Sie einen API-Schlüssel.

Klicken Sie im Reiter Keys auf Create key. Sie können den Schlüssel optional auf bestimmte Deployments beschränken, indem Sie Modellnamen-Muster angibt (durch Komma getrennt; für alle gilt *). Kopieren Sie nun den sk-tok-…-Schlüssel – er wird nur einmal angezeigt.

Nutzen Sie ihn von überall aus.

Sobald Sie einen Deployment-Namen sowie einen API-Schlüssel besitzen, kann jeder OpenAI- oder Anthropic-kompatible Client auf Ihr Xinference-Modell zugreifen – sei es von einem anderen Rechner, dem Laptop eines Teammitglieds oder einem gehosteten Agenten.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "xinference-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="xinference-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model xinference-tunnel

Das Feld model enthält stets den von Ihnen registrierten Namen der Deployment-Instanz (siehe xinference-tunnel oben); niemals die Upstream-Modell-ID, die Sie in Xinference gestartet haben. Weitere Informationen zur dauerhaften Einstellung der Umgebungsvariablen über Sitzungen hinweg finden Sie unter Verwendung von Claude Code.

Häufig gestellte Fragen

Wird Xinference offiziell unterstützt?

Ollama, llama.cpp, vLLM sowie LM Studio sind die Backends, die in der Dokumentation zu Tokios am ausführlichsten behandelt werden. Der Connector funktioniert jedoch mit jedem Server, der eine OpenAI-kompatible Chat-Completions-API unter der Basis-URL /v1 bereitstellt; Xinference erfüllt diese Voraussetzung, weshalb es ebenfalls als generischer OpenAI-kompatibler Upstream genutzt werden kann. Prüfen Sie vor der Produktionsnutzung unbedingt die Funktionsweise mit Ihrer eigenen Xinference-Version.

Ist das Streaming möglich?

Ja, vorausgesetzt das verwendete Xinference-Modell sowie der Server unterstützen das Streaming von Antworten. Durch die Angabe von "stream": true liefert Tokios standardmäßig Server-Sent Events (SSE) im OpenAI- oder Anthropic-Format, je nachdem, welche API-Schnittstelle Sie aufgerufen haben.

Kann ich mehrere Xinference-Modelle gleichzeitig bereitstellen?

Ja. Registrieren Sie weitere Deployment-Instanzen im Reiter Models oder nutzen Sie eine Konfigurationsdatei tokios-connector.json, um mehrere Upstream-Modelle sowie deren Routing zu definieren – besonders nützlich, wenn Sie in Xinference mehrere Modelle starten. Weitere Details finden Sie unter Connector-Konfiguration.

Ist es möglich, Teammitgliedern Zugriff zu gewähren, ohne Xinference direkt zugänglich zu machen?

Yes. Create a separate sk-tok-… key per teammate in the Keys tab, and scope each key to only the deployments they need. Revoking a key stops it from authenticating immediately, so you can cut off access without touching Xinference or the connector.

Ihre Modelle verlassen niemals Ihren Rechner – Ihr Endpunkt bleibt dennoch überall nutzbar

Xinference arbeitet weiterhin exakt wie bisher auf Ihrem lokalen Rechner, ohne dass externe Ports oder Endpunkte außerhalb von /v1 erforderlich wären. Der Connector initiiert lediglich ausgehende Verbindungen. Alles Weitere – Authentifizierung, Routing sowie Streaming – erfolgt über einen einzigen Endpunkt, den Sie von jedem beliebigen Gerät, Teammitglied oder Agenten aus aufrufen können, dem Sie einen API-Schlüssel zuweisen.

Unterstützte Backends

Hier sehen Sie, welche lokalen Laufzeiten Tokios derzeit explizit testet und unterstützt.

API-Schlüssel

Erstellen Sie, legen Sie den Gültigkeitsbereich fest und rotieren Sie sk-tok-…-Schlüssel für Teammitglieder sowie Agenten.

Hardware und Kompatibilität

Runtime bereitstellen und verbinden

Client oder App verbinden

Vergleich

Nutzen Sie einen Xinference-Server von überall aus – sicher und zuverlässig

Der ausschließlich ausgehende Ansatz

Nutzen Sie ihn von überall aus.

Häufig gestellte Fragen

Ihre Modelle verlassen niemals Ihren Rechner – Ihr Endpunkt bleibt dennoch überall nutzbar

Unterstützte Backends

API-Schlüssel

​Der ausschließlich ausgehende Ansatz

​Nutzen Sie ihn von überall aus.

​Häufig gestellte Fragen

​Ihre Modelle verlassen niemals Ihren Rechner – Ihr Endpunkt bleibt dennoch überall nutzbar

Unterstützte Backends

API-Schlüssel

Der ausschließlich ausgehende Ansatz

Nutzen Sie ihn von überall aus.

Häufig gestellte Fragen

Ihre Modelle verlassen niemals Ihren Rechner – Ihr Endpunkt bleibt dennoch überall nutzbar