Skip to main content
Ihr DGX Spark führt das Modell bereits problemlos aus. Die eigentliche Herausforderung besteht darin, es von außerhalb zu nutzen, ohne das Gerät dem Internet auszusetzen oder ein Gateway manuell zu erstellen. Starten Sie den Tokios-Connector neben der Laufzeitumgebung – so erhalten Sie einen authentifizierten Endpoint unter https://api.tokios.com, der sowohl OpenAI- als auch Anthropic-Anfragen verarbeitet. Dadurch können Ihr Laptop, Claude Code sowie alle eingeladenen Personen den Spark nutzen, ohne Firewall-Regeln anpassen zu müssen.
Bereit, Ihren Spark anzubinden? Gehen Sie zu der Schnellstart-Anleitung für die vollständige Connector-Einrichtung; falls bereits eine Laufzeitumgebung aktiv ist, können Sie direkt zu der Registrierung des Modells übergehen.

​
Der Abstand nach „es läuft“

Besitzer von DGX Spark und GB10 starten meist ein Modell mittels Ollama, llama.cpp oder vLLM – stoßen dann jedoch auf ein weiteres Problem: die Nutzung des Modells außerhalb des Spark selbst.
  • Infrastruktur-Einrichtung. Um einen OpenAI-kompatiblen Endpoint aus einer Multi-Modell-Umgebung zu erzeugen, muss man LiteLLM, llama-swap sowie die Laufzeitumgebung miteinander verknüpfen und zudem einen Abfragedienst einrichten, der für die Synchronisation sorgt. Solche Komponenten stellen für viele DGX Spark-Projekte das eigentliche Ziel dar; die Konfiguration wird oft als „Infrastruktur-Einrichtung“ bezeichnet, die man lieber vermeiden würde.
  • Fernzugriff. Die gängigen Methoden, um vom anderen Gerät aus auf den Spark zuzugreifen – etwa die Bindung der Laufzeitumgebung an 0.0.0.0 (snap set ollama host="0.0.0.0:11434"), ein SSH-Tunnel oder Tailscale – erfordern jeweils aufwendige Einstellungen unter ARM64 bzw. DGX OS. Zudem bietet ein direkt gebundener Port keinerlei Authentifizierung pro Client.
  • API-Format. Claude Code nutzt das Anthropic Messages-Format; lokale Laufzeitumgebungen setzen auf OpenAI Chat Completions. Um beide zu verknüpfen, muss man in der Regel ein kleines Proxy-Programm schreiben und pflegen.
Tokios fungiert als Verbindungsschicht über Ihrer bestehenden Laufzeitumgebung – es ersetzt weder Ollama, llama.cpp noch vLLM.
2 DGX Sparks verfügen über genügend Gesamtspeicher, um DeepSeek-V4-Flash-0731 zu verteilen; dennoch müssen spezifische Cluster-Konfigurationen für DeepSeek von der Community getestet und anschließend unter 0731 erneut validiert werden. Betreiben Sie den Connector stets am /v1 Endpoint des Head-Nodes. Weitere Informationen zu Reifegrad-Klassifizierungen sowie Einrichtungsgrenzen finden Sie unter DeepSeek V4 Flash – lokale Hardware.

​
Kann ein DGX Spark-Cluster Kimi K3 ausführen?

No. Kimi K3’s 2.8T parameters (~50B active per token through MoE) need roughly 1.4 TB at their native 4-bit floor, while NVIDIA’s documented Spark clusters top out at 4 nodes and 512 GB — and Moonshot targets K3 at supernodes with 64 or more accelerators. Even 8 DGX Sparks (1 TB pooled) fall 376 GB short of just the raw weight floor. Aktuell sollten Sie für Spark-Modelle aus NVIDIAs dokumentierten Spezifikationen wählen: entweder für ein-120B-, zwei-400B- oder vier-700B-Knoten-Systeme. Die vollständige Liste finden Sie unter DGX Spark-Modellkompatibilität; für die optimale Wahl pro Konfiguration empfehlen wir Alternativen zu Kimi K3. Die detaillierte Berechnung des Speicherbedarfs für K3 sowie Cluster-Planung sind im technischen Leitfaden zu Kimi K3 beschrieben.

​
Richten Sie die Einrichtung auf Ihrem Spark-System ein.

1

Starten Sie anschließend die Laufzeitumgebung auf dem Spark-System.

Starten Sie Ihren Modellserver wie gewohnt – beispielsweise so:
Oder alternativ:
Überprüfen Sie zunächst, ob das Modell über seinen OpenAI-kompatiblen /v1 API-Endpunkt reagiert, bevor Sie den Connector hinzufügen.
2

Beantragen Sie einen Berechtigungscode und verknüpfen Sie den Connector.

Öffnen Sie im dashboard das Setup-Reiter und wählen Sie Start pairing aus, um einen einmalig gültigen Code im Format TKS-XXXX-XXXX zu erhalten (gültig ca. 15 Minuten). Geben Sie diesen Code auf dem Spark-System ein.
Tokios stellt eine Linux-arm64-Version von tokios-connector bereit, die auch auf DGX Sparks Grace-CPU läuft. Die genauen Schritte zur Systemd-Integration und Paketierung variieren je nach DGX-OS-Version – prüfen Sie diese vor der Installation.Kehren Sie zum Dashboard zurück und genehmigen Sie das Gerät im Setup- oder Connectors-Reiter. Der Connector-Token wird automatisch über den Tunnel übertragen – Sie müssen ihn nicht manuell in eine Datei eintragen.
3

Richten Sie den Connector auf das /v1-Endpunkt Ihrer Laufzeitumgebung aus.

Der Upstream für den Connector ist die OpenAI-kompatible API der Laufzeitumgebung auf dem Spark – nicht ein extern zugänglicher Port. Standardmäßige Ports: Ollama 11434, vLLM 8000 (jeweils mit /v1 als Zusatz). Es sind keine Firewall-Regeln für eingehende Verbindungen erforderlich, da der Connector ausschließlich ausgehende Verbindungen herstellt.
4

Erstellen Sie eine Deployment.

Auf dem Models-Reiter weisen Sie Ihre Upstream-Modell-ID (zum Beispiel llama3.1) einem öffentlichen Deployment-Namen wie spark-llama zu. Clients übermitteln diesen Deployment-Namen im model-Feld – nicht die Upstream-ID.
5

Generieren Sie einen API-Schlüssel.

Im Keys-Reiter erstellen Sie einen Schlüssel. Diese Schlüssel sind sk-tok-…-Bearer-Tokens, die nur einmal angezeigt werden, und lassen sich auf bestimmte Muster von Deployment-Namen beschränken.

​
Nutzen Sie ihn von überall aus.

Sobald der Connector konfiguriert und ein Deployment registriert ist, richten Sie Ihren Client auf Tokios statt auf die IP-Adresse des Spark aus.
Der Modellauswähler in Claude Code listet ausschließlich claude*-IDs auf; daher erscheint Ihr Tokios-Deployment dort nicht. Geben Sie stattdessen --model spark-llama explizit an.
Falls Sie mehrere Modelle auf dem Spark betreiben oder den Datenverkehr gleichzeitig auf Ollama, llama.cpp und vLLM verteilen, nutzen Sie die Connector-Konfigurationsdatei zur Definition mehrerer Routen und Upstreams – anstatt des Verfahrens für nur ein Upstream. Unter Modell-Routing erfahren Sie, wie Sie mehrere Deployments hinter einem einzigen Endpunkt registrieren und wechseln können.

​
Warum nur ein Endpunkt?

  • Wechseln Sie Modelle ohne Änderungen an der Client-Konfiguration. Weisen Sie einem Deployment-Namen ein anderes Upstream-Modell oder eine andere Backend-Instanz zu – alle Agenten und Skripte, die bereits auf spark-llama verweisen, funktionieren weiterhin einwandfrei.
  • Bereichsbegrenzte Schlüssel für Teammitglieder. Sie können einem Teammitglied einen Schlüssel zuweisen, der nur für bestimmte Deployment-Muster gültig ist, anstatt ihm uneingeschränkten Zugriff auf den Spark zu gewähren.
  • Keine eingehenden Ports am Spark. Der Connector stellt ausschließlich ausgehende Verbindungen her; daher müssen Sie den Laufzeitprozess nicht an 0.0.0.0 binden oder einen SSH-Tunnel bzw. Tailscale-Knoten verwalten, um vom Laptop aus darauf zuzugreifen.

​
Nächste Schritte

Schnellstart

So gelangen Sie von Null bis hin zu einem funktionierenden Connector, einer Deployment-Konfiguration sowie einem API-Schlüssel.

Installation des Connectors

Eine umfassende Anleitung zur Installation und Einrichtung des Connectors auf allen Plattformen.

Nutzung von Claude Code

Detaillierte Konfiguration von ANTHROPIC_BASE_URL sowie ANTHROPIC_API_KEY.

Referenz zur Connector-Konfiguration

Mit tokios-connector.json können mehrere Modelle über einen einzigen Spark bereitgestellt werden.