https://api.tokios.com, der sowohl OpenAI- als auch Anthropic-Anfrageformate unterstuetzt – sodass Ihr Laptop, Claude Code und alle eingeladenen Personen den Spark erreichen, ohne Firewall-Regeln anzupassen.
Die Luecke nach „es laeuft”
Besitzer von DGX Spark und GB10 bringen ein Modell typischerweise mit Ollama, llama.cpp, vLLM oder Lemonade Server zum Laufen und stossen dann auf ein zweites Problem: das Modell von ausserhalb des Spark selbst zu nutzen.- Verkabelung. Einen OpenAI-kompatiblen Endpunkt aus einem Multi-Modell-Setup zu bekommen, bedeutet oft, LiteLLM,
llama-swapund die Laufzeit zusammen zu verdrahten, plus einen Polling-Daemon fuer die Synchronisation – Komponenten, die einige DGX-Spark-Community-Projekte als explizites Ziel beschreiben, und die Einrichtung als „Verkabelung”, die sie lieber ueberspringen wuerden. - Remote-Zugriff. Die gaengigen Methoden, um von einem anderen Geraet auf den Spark zuzugreifen – die Laufzeit an
0.0.0.0binden (snap set ollama host="0.0.0.0:11434"), ein SSH-Tunnel oder Tailscale – bringen jeweils eigene muessige Einrichtung auf ARM64 / DGX OS mit sich, und ein offen gebundener Port hat keine pro-Client-Authentifizierung davor. - API-Format. Claude Code spricht das Anthropic-Messages-Format; lokale Laufzeiten sprechen OpenAI Chat Completions. Beide zu verbinden bedeutet normalerweise, einen kleinen Proxy zu schreiben und zu pflegen.
2 DGX Sparks bieten genug Gesamtspeicher, um
DeepSeek-V4-Flash-0731 zu sharden, aber DeepSeek-spezifische Cluster-Rezepte bleiben von der Community getestet und erfordern eine 0731-Revalidierung. Belassen Sie den Connector am /v1-Endpunkt des Head-Nodes. Siehe DeepSeek V4 Flash lokale Hardware fuer die Reifegrad-Labels und die Einrichtungs-Grenzen.Kann ein DGX-Spark-Cluster Kimi K3 ausfuehren?
Nein. Kimi K3s 2.8T Parameter (~50B aktiv pro Token durch MoE) benoetigen ungefaehr 1.4 TB bei ihrer nativen 4-Bit-Basis, waehrend NVIDIAs dokumentierte Spark-Cluster bei 4 Knoten und 512 GB enden – und Moonshot peilt K3 auf Supernodes mit 64 oder mehr Beschleunigern an. Selbst 8 DGX Sparks (1 TB gepoolt) liegen 376 GB unter der reinen Gewichts-Basis. Waehlen Sie fuer den Spark heute ein Modell innerhalb von NVIDIAs dokumentierten 120B-Pro-Knoten-, 400B-fuer-zwei-Knoten- oder 700B-fuer-vier-Knoten-Bereichen – siehe DGX-Spark-Modellkompatibilitaet fuer die vollstaendige Liste oder Was statt Kimi K3 ausfuehren fuer die beste Wahl pro Spark-Konfiguration. Fuer die vollstaendige K3-Speicherberechnung und Cluster-Mathematik siehe die Kimi K3 Hardware-Tiefenanalyse.Auf Ihrem Spark einrichten
1
Starten Sie Ihre Laufzeit auf dem Spark
Starten Sie Ihren Modell-Server wie gewohnt, zum Beispiel:oderLemonade Server ist eine Alternative, die CUDA automatisch handhabt – er erkennt die GPU Ihres DGX Spark und waehlt das richtige Backend ohne manuelle Flags:Lemonade Server lauscht standardmaessig auf Port
13305 und legt eine OpenAI-kompatible API unter /v1 frei. Siehe lemonade-server.ai fuer die Installationsanleitung.Bestaetigen Sie, dass er ueber seine eigene OpenAI-kompatible /v1-API antwortet, bevor Sie den Connector hinzufuegen.2
Holen Sie sich einen Pairing-Code und koppeln Sie den Connector
Oeffnen Sie im dashboard den Tab Setup und waehlen Sie Start pairing, um einen einmaligen Pairing-Code in der Form Tokios liefert einen Linux-arm64-Build von
TKS-XXXX-XXXX zu erhalten (gueltig fuer etwa 15 Minuten). Führen Sie auf dem Spark aus:tokios-connector aus, der die Grace-CPU des DGX Spark abdeckt. Die genauen Schritte der Systemd-Integration und Paketierung koennen je nach DGX-OS-Version variieren – pruefen Sie Ihre vor der Skriptierung der Installation.Zurueck im Dashboard genehmigen Sie das Geraet auf dem Tab Setup oder Connectors. Das Token des Connectors wird ueber den Tunnel zugestellt – Sie muessen es nie in eine Datei einfuegen.3
Richten Sie den Connector auf den /v1-Endpunkt Ihrer Laufzeit aus
Der Upstream des Connectors ist die eigene OpenAI-kompatible API der Laufzeit auf dem Spark, kein extern freigegebener Port. Standard-Ports: Ollama
11434, vLLM 8000, Lemonade Server 13305 (alle mit /v1 angehaengt). Keine eingehende Firewall-Regel wird benoetigt – der Connector waehlt nur ausgehend.4
Registrieren Sie ein Deployment
Auf dem Tab Models bilden Sie Ihre Upstream-Modell-ID (zum Beispiel
llama3.1) auf einen oeffentlichen Deployment-Namen wie spark-llama ab. Clients senden diesen Deployment-Namen im model-Feld, nicht die Upstream-ID.5
Erstellen Sie einen API-Schluessel
Auf dem Tab Keys erstellen Sie einen Schluessel. Schluessel sind
sk-tok-… Bearer-Tokens, die einmal angezeigt werden, und koennen auf bestimmte Deployment-Namen-Muster eingeschraenkt werden.Von ueberall nutzen
Sobald der Connector gekoppelt und ein Deployment registriert ist, richten Sie Ihren Client auf Tokios statt auf die IP-Adresse des Spark.Claude Codes Modellauswahl listet nur
claude*-IDs auf, daher erscheint Ihr Tokios-Deployment nicht in der Liste – uebergeben Sie --model spark-llama explizit.Warum ein Endpunkt
- Modelle tauschen, ohne die Client-Konfiguration anzufassen. Richten Sie einen Deployment-Namen auf ein anderes Upstream-Modell oder Backend, und jeder Agent und jedes Skript, das bereits
spark-llamaanvisiert, funktioniert weiter. - Eingeschraenkte Schluessel fuer Teammitglieder. Geben Sie einem Teammitglied einen Schluessel, der auf bestimmte Deployment-Muster begrenzt ist, statt rohen Zugriff auf den Spark zu teilen.
- Keine eingehenden Ports am Spark. Der Connector stellt nur ausgehende Verbindungen her, also binden Sie die Laufzeit nicht an
0.0.0.0oder pflegen einen SSH-Tunnel oder Tailscale-Knoten, nur um vom Laptop aus darauf zuzugreifen.
Naechste Schritte
Schnellstart
Von null zu einem funktionierenden Connector, Deployment und API-Schluessel.
Connector installieren
Vollstaendige Connector-Installations- und Pairing-Referenz fuer alle Plattformen.
Claude Code verwenden
Konfigurieren Sie
ANTHROPIC_BASE_URL und ANTHROPIC_API_KEY im Detail.Connector-Konfigurationsreferenz
Mehrere Modelle von einem Spark mit
tokios-connector.json bereitstellen.