Skip to main content
Ihr RTX-Workstation führt das Modell bereits aus. Die Herausforderung besteht darin, von Ihrem Laptop, einem Coding-Agenten oder der Maschine eines Teammitglieds darauf zuzugreifen, ohne Ihren Gaming-PC im Internet freizugeben. Führen Sie den Tokios-Connector neben Ihrer Laufzeitumgebung aus, und Sie erhalten einen authentifizierten Endpoint unter https://api.tokios.com, der sowohl OpenAI- als auch Anthropic-Anfrageformate unterstützt, sodass Claude Code, ein OpenAI-SDK-Skript oder alle eingeladenen Personen die Maschine erreichen können, ohne Ihren Router zu berühren.

​
Nach dem Start: die Endpoint-Lücke

Besitzer von Desktop-RTX-Karten — 5090, 4090, 3090 und ähnliche Karten — erhalten typischerweise ein Modell, das lokal mit Ollama, LM Studio, llama.cpp oder vLLM antwortet, und stoßen dann auf das nächste Problem: die Nutzung dieses Modells von einem anderen Ort als dem Desktop selbst.
  • Ein von anderswo erreichbarer Endpoint. Die Laufzeitumgebung bindet standardmäßig an 127.0.0.1. Der Zugriff von einem Laptop, einem anderorts laufenden Coding-Agenten oder der Maschine eines Teammitglieds bedeutet, an 0.0.0.0 zu binden, einen Port an Ihrem Heimrouter weiterzuleiten oder einen Tunnel aufzubauen — jeweils mit eigener Einrichtung und ohne Authentifizierung pro Client davor.
  • API-Form. Claude Code spricht das Anthropic-Messages-Format; Ollama, LM Studio, llama.cpp und vLLM sprechen OpenAI Chat Completions. Die Brücke zwischen beiden zu schlagen, bedeutet normalerweise, einen kleinen Proxy zu schreiben und zu warten.
  • Ein stabiler Anlaufpunkt für Tools. Der Wechsel zwischen Ollama, LM Studio, llama.cpp oder vLLM auf derselben Maschine oder das Ändern des geladenen Modells sollte nicht die Neukonfiguration jedes Clients bedeuten, der damit kommuniziert.
Tokios ist die Connect-Schicht, die auf der Laufzeitumgebung aufsetzt, die Sie bereits ausführen — sie ersetzt nicht Ollama, LM Studio, llama.cpp oder vLLM.
DeepSeek-V4-Flash-0731 ist kein typisches Modell für einzelne Workstations. Ein Paar RTX PRO 6000 Blackwell-Karten verfügt über genügend 192 GB aggregate VRAM für seine Gewichtsschwelle, aber dieser 2-Karten-Pfad ist Bereich der Community-Validierung. Siehe DeepSeek V4 Flash lokale Hardware für die Laufzeit- und Kontexteinschränkungen.

​
Richten Sie es auf Ihrer Workstation ein

1

Starten Sie Ihre Laufzeit auf der Workstation

Führen Sie Ihren Modellservers wie üblich aus, zum Beispiel:
oder mit dem lokalen Server von LM Studio, llama.cpp, oder vLLM:
Bestätigen Sie, dass er über seine eigene OpenAI-kompatible /v1 API antwortet, bevor Sie den Connector hinzufügen.
2

Holen Sie sich einen Claim-Code und koppeln Sie den Connector

Öffnen Sie im dashboard den Setup Tab und wählen Sie Start pairing aus, um einen einmaligen Claim-Code im Format TKS-XXXX-XXXX zu erhalten (gültig für etwa 15 Minuten).Unter Windows (PowerShell):
Unter Linux:
Gehen Sie zurück zum Dashboard und genehmigen Sie das Gerät im Setup oder Connectors Tab. Das Token des Connectors wird über den Tunnel übermittelt — Sie müssen es niemals in eine Datei einfügen.
3

Richten Sie den Connector auf den /v1 Endpunkt Ihrer Laufzeit

The connector’s upstream is the runtime’s own OpenAI-compatible API on the workstation, not a port you forward on your router. Default ports: Ollama 11434, LM Studio 1234, llama.cpp 8080, vLLM 8000 (all with /v1 appended; for Ollama use its /v1 OpenAI-compatible API, not the native /api). No inbound firewall rule or port forward is needed — the connector only dials out.
4

Registrieren Sie eine Deployment

Auf der Models-Registerkarte weisen Sie Ihre Upstream-Modell-ID einem öffentlichen Deployment-Namen wie rtx-coder zu. Clients senden diesen Deployment-Namen im model-Feld, nicht die Upstream-ID.
5

Erstellen Sie einen API-Schlüssel

Erstellen Sie auf der Keys-Registerkarte einen Schlüssel. Schlüssel sind sk-tok-… Bearer-Tokens, die nur einmal angezeigt werden, und können auf bestimmte Deployment-Namen-Muster beschränkt werden.

​
Verwenden Sie ihn von Ihrem Laptop oder Agent aus

Sobald der Connector gepaart und ein Deployment registriert ist, richten Sie Ihren Client auf Tokios statt auf die lokale Netzwerkadresse Ihrer Workstation.
Der Modell-Picker von Claude Code listet nur claude*-IDs auf, daher erscheint Ihr Tokios-Deployment nicht in der Liste — übergeben Sie --model rtx-coder explizit.
Wenn Sie mehr als einen Backend-Server auf der Workstation betreiben — etwa Ollama für ein Modell und vLLM für ein anderes — verwenden Sie die Connector-Konfigurationsdatei, um mehrere Routen und Upstreams zu definieren, anstatt den Single-Upstream-Pairing-Flow zu nutzen. Siehe Modell-Routing für die Registrierung und den Wechsel zwischen mehreren Deployments hinter demselben Endpunkt.

​
Wie groß kann ein Modell sein, das ich ausführen kann?

Ihr VRAM bestimmt, welche Modellgrößen und Quantisierungen auf einem 5090, 4090 oder 3090 realistisch sind, und das ist eine Hardwarefrage, keine von Tokios. Siehe Wählen Sie ein lokales Modell für Größenempfehlungen und Benchmarken Sie ein Tokios-Deployment für den Vergleich von Latenz und Durchsatz über Deployments hinweg, sobald der Traffic durch Tokios fließt.
Meta hat Muse Glimmer 30B speziell auf einer RTX 5090 getestet und berichtet dort von der größten DFlash-Beschleunigung — 3.1x. Die 5090 mit 32 GB führt das -dflash-Build komfortabel aus. Ein 24 GB 3090 oder 4090 führt das reine 4-bit-Build (18 GB) vollständig resident aus.

​
Warum ein Endpunkt

  • Backend wechseln, ohne die Client-Konfiguration zu berühren. Wechseln Sie von Ollama zu LM Studio oder vLLM auf derselben Maschine, und jeder Agent und jedes Skript, das bereits auf rtx-coder abzielt, funktioniert weiter — Sie ändern nur den Upstream des Connectors, nicht den Client.
  • Keine eingehenden Ports auf einem Heim-Gaming-PC. Der Connector stellt nur ausgehende Verbindungen her, sodass Sie keinen Port auf Ihrem Router weiterleiten, die Laufzeit nicht an 0.0.0.0 binden und auch keinen eigenen Tunnel pflegen müssen, um von einem Laptop oder Coding-Agent darauf zuzugreifen.
  • Eingeschränkte Schlüssel statt einer gemeinsamen Bind-Adresse. Geben Sie einem Teamkollegen einen Schlüssel, der auf bestimmte Deployment-Muster beschränkt ist, anstatt den Port Ihrer Laufzeit für Ihr Netzwerk zu öffnen.

​
Nächste Schritte

Schnellstart

Gehen Sie von null zu einem funktionierenden Connector, Deployment und API-Schlüssel.

Connector installieren

Vollständige Installations- und Pairing-Referenz für den Connector auf allen Plattformen.

Claude Code verwenden

Konfigurieren Sie ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY im Detail.

Connector-Konfigurationsreferenz

Stellen Sie mehrere Modelle von einer einzigen Workstation mit tokios-connector.json bereit.