Zum Hauptinhalt springen
Ihre RTX-Workstation betreibt das Modell bereits. Die eigentliche Herausforderung ist, von Ihrem Laptop, einem Coding-Agenten oder dem Rechner eines Teammitglieds darauf zuzugreifen, ohne Ihren Gaming-PC dem Internet auszusetzen. Starten Sie den Tokios-Connector neben Ihrer Laufzeit, und Sie erhalten einen authentifizierten Endpunkt unter https://api.tokios.com, der sowohl OpenAI- als auch Anthropic-Anfrageformate unterstuetzt, sodass Claude Code, ein OpenAI-SDK-Skript oder alle eingeladenen Personen die Box erreichen, ohne Ihren Router anzufassen.

​
Nach dem Start: die Endpunkt-Luecke

Desktop-RTX-Besitzer – 5090, 4090, 3090 und aehnliche Karten – bringen ein Modell typischerweise dazu, lokal mit Ollama, LM Studio, llama.cpp oder vLLM zu antworten, und stossen dann auf das naechste Problem: das Modell von ausserhalb des Desktops selbst zu nutzen.
  • Ein von anderswo erreichbarer Endpunkt. Die Laufzeit bindet standardmaessig an 127.0.0.1. Der Zugriff von einem Laptop, einem anderorts laufenden Coding-Agenten oder dem Rechner eines Teammitglieds bedeutet, an 0.0.0.0 zu binden, einen Port auf Ihrem Heimrouter weiterzuleiten oder einen Tunnel aufzubauen – jeweils mit eigener Einrichtung und keiner pro-Client-Authentifizierung davor.
  • API-Format. Claude Code spricht das Anthropic-Messages-Format; Ollama, LM Studio, llama.cpp und vLLM sprechen OpenAI Chat Completions. Beide zu verbinden bedeutet normalerweise, einen kleinen Proxy zu schreiben und zu pflegen.
  • Ein stabiler Zielpunkt fuer Tools. Der Wechsel zwischen Ollama, LM Studio, llama.cpp oder vLLM auf derselben Box oder das Aendern des geladenen Modells sollte nicht bedeuten, jeden Client neu zu konfigurieren, der damit spricht.
Tokios ist die Verbindungsschicht, die auf der Laufzeit aufsetzt, die Sie bereits betreiben – es ersetzt nicht Ollama, LM Studio, llama.cpp oder vLLM.
DeepSeek-V4-Flash-0731 ist kein typisches Single-Workstation-Modell. Ein Paar RTX PRO 6000 Blackwell-Karten hat genug 192 GB aggregierten VRAM fuer seine Gewichts-Basis, aber dieser 2-Karten-Pfad ist Community-Validierungsterritorium. Siehe DeepSeek V4 Flash lokale Hardware fuer die Laufzeit- und Kontext-Einschraenkungen.

​
Auf Ihrer Workstation einrichten

1

Starten Sie Ihre Laufzeit auf der Workstation

Starten Sie Ihren Modell-Server wie gewohnt, zum Beispiel:
oder mit LM Studios lokalem Server, llama.cpp oder vLLM:
Bestaetigen Sie, dass er ueber seine eigene OpenAI-kompatible /v1-API antwortet, bevor Sie den Connector hinzufuegen.
2

Holen Sie sich einen Pairing-Code und koppeln Sie den Connector

Oeffnen Sie im dashboard den Tab Setup und waehlen Sie Start pairing, um einen einmaligen Pairing-Code in der Form TKS-XXXX-XXXX zu erhalten (gueltig fuer etwa 15 Minuten).Unter Windows (PowerShell):
Unter Linux:
Zurueck im Dashboard genehmigen Sie das Geraet auf dem Tab Setup oder Connectors. Das Token des Connectors wird ueber den Tunnel zugestellt – Sie muessen es nie in eine Datei einfuegen.
3

Richten Sie den Connector auf den /v1-Endpunkt Ihrer Laufzeit aus

Der Upstream des Connectors ist die eigene OpenAI-kompatible API der Laufzeit auf der Workstation, kein Port, den Sie auf Ihrem Router weiterleiten. Standard-Ports: Ollama 11434, LM Studio 1234, llama.cpp 8080, vLLM 8000 (alle mit /v1 angehaengt; fuer Ollama verwenden Sie seine /v1-OpenAI-kompatible API, nicht die native /api). Keine eingehende Firewall-Regel oder Port-Weiterleitung wird benoetigt – der Connector waehlt nur ausgehend.
4

Registrieren Sie ein Deployment

Auf dem Tab Models bilden Sie Ihre Upstream-Modell-ID auf einen oeffentlichen Deployment-Namen wie rtx-coder ab. Clients senden diesen Deployment-Namen im model-Feld, nicht die Upstream-ID.
5

Erstellen Sie einen API-Schluessel

Auf dem Tab Keys erstellen Sie einen Schluessel. Schluessel sind sk-tok-… Bearer-Tokens, die einmal angezeigt werden, und koennen auf bestimmte Deployment-Namen-Muster eingeschraenkt werden.

​
Von Ihrem Laptop oder Agenten nutzen

Sobald der Connector gekoppelt und ein Deployment registriert ist, richten Sie Ihren Client auf Tokios statt auf die lokale Netzwerkadresse Ihrer Workstation.
Claude Codes Modellauswahl listet nur claude*-IDs auf, daher erscheint Ihr Tokios-Deployment nicht in der Liste – uebergeben Sie --model rtx-coder explizit.
Wenn Sie mehr als ein Backend auf der Workstation betreiben – zum Beispiel Ollama fuer ein Modell und vLLM fuer ein anderes – verwenden Sie die Connector-Konfigurationsdatei, um mehrere Routen und Upstreams zu definieren, statt den Single-Upstream-Pairing-Flow zu nutzen. Siehe Modell-Routing fuer die Registrierung und den Wechsel zwischen mehreren Deployments hinter demselben Endpunkt.

​
Wie gross kann ein Modell sein, das ich ausfuehren kann?

Ihr VRAM entscheidet, welche Modellgroessen und Quantisierungen auf einer 5090, 4090 oder 3090 realistisch sind, und das ist eine Hardware-Frage, keine von Tokios. Siehe Ein lokales Modell waehlen fuer Groessen-Empfehlungen und Ihr Deployment testen fuer den Vergleich von Latenz und Durchsatz ueber Deployments hinweg, sobald Traffic ueber Tokios fliesst.
Meta hat Muse Glimmer 30B speziell auf einer RTX 5090 getestet und berichtet dort von der groessten DFlash-Beschleunigung – 3.1x. Die 5090 mit 32 GB betreibt den -dflash-Build komfortabel. Eine 24 GB 3090 oder 4090 betreibt den reinen 4-Bit-Build (18 GB) vollstaendig resident.

​
Warum ein Endpunkt

  • Backends tauschen, ohne die Client-Konfiguration anzufassen. Wechseln Sie von Ollama zu LM Studio oder vLLM auf derselben Box, und jeder Agent und jedes Skript, das bereits rtx-coder anvisiert, funktioniert weiter – Sie aendern nur den Upstream des Connectors, nicht den Client.
  • Keine eingehenden Ports auf einem Heim-Gaming-PC. Der Connector stellt nur ausgehende Verbindungen her, also leiten Sie keinen Port auf Ihrem Router weiter, binden die Laufzeit nicht an 0.0.0.0 oder pflegen Ihren eigenen Tunnel, nur um von einem Laptop oder Coding-Agent darauf zuzugreifen.
  • Eingeschraenkte Schluessel statt einer gemeinsamen Bind-Adresse. Geben Sie einem Teamkollegen einen Schluessel, der auf bestimmte Deployment-Muster begrenzt ist, statt den Port Ihrer Laufzeit fuer Ihr Netzwerk zu oeffnen.

​
Naechste Schritte

Schnellstart

Von null zu einem funktionierenden Connector, Deployment und API-Schluessel.

Connector installieren

Vollstaendige Connector-Installations- und Pairing-Referenz fuer alle Plattformen.

Claude Code verwenden

Konfigurieren Sie ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY im Detail.

Connector-Konfigurationsreferenz

Mehrere Modelle von einer Workstation mit tokios-connector.json bereitstellen.