https://api.tokios.com, capable de traiter les requêtes au format OpenAI et Anthropic. Ainsi, votre ordinateur portable, Claude Code et tous les utilisateurs que vous invitez peuvent accéder au Spark sans avoir à modifier les règles de pare-feu.
L’espace vide après « il fonctionne »
Les utilisateurs de DGX Spark et GB10 font généralement tourner un modèle via Ollama, llama.cpp ou vLLM, mais se heurtent ensuite à un second défi : l’utilisation de ce modèle depuis tout autre appareil que le Spark lui-même.- Mise en œuvre technique. Créer un point de terminaison compatible OpenAI à partir d’un environnement multi-modèles exige souvent de relier LiteLLM,
llama-swapet l’environnement d’exécution, tout en ajoutant un démon de sondage pour maintenir la synchronisation. Certains projets communautaires décrivent cette étape comme une « mise en œuvre technique » qu’ils préféreraient éviter. - Accès à distance. Les méthodes classiques pour accéder au Spark depuis un autre appareil — liaison de l’environnement d’exécution à
0.0.0.0(snap set ollama host="0.0.0.0:11434"), tunnel SSH ou utilisation de Tailscale — nécessitent chacune une configuration complexe sous ARM64 / DGX OS. De plus, un port ouvert ne propose aucune authentification client. - Format d’API. Claude Code utilise le format de messages d’Anthropic tandis que les environnements d’exécution locaux suivent le format de complétion de chat d’OpenAI. Le pont entre ces deux formats exige généralement la création et la maintenance d’un petit proxy.
2 DGX Sparks provide enough aggregate memory to shard
DeepSeek-V4-Flash-0731, but DeepSeek-specific cluster recipes remain community-tested and require 0731 revalidation. Keep the connector on the head node’s /v1 endpoint. See DeepSeek V4 Flash local hardware for the maturity labels and setup boundary.Un cluster DGX Spark peut-il exécuter Kimi K3 ?
No. Kimi K3’s 2.8T parameters (~50B active per token through MoE) need roughly 1.4 TB at their native 4-bit floor, while NVIDIA’s documented Spark clusters top out at 4 nodes and 512 GB — and Moonshot targets K3 at supernodes with 64 or more accelerators. Even 8 DGX Sparks (1 TB pooled) fall 376 GB short of just the raw weight floor. For Spark today, choose a model within NVIDIA’s documented 120B single-node, 400B two-node, or 700B four-node ranges — see DGX Spark model compatibility for the full list, or what to run instead of Kimi K3 for the best pick per Spark configuration. For the complete K3 memory calculation and cluster math, see the Kimi K3 hardware deep dive.Configurez-le sur votre cluster Spark.
1
Lancez l’environnement d’exécution sur le cluster Spark.
Exécutez votre serveur de modèles comme d’habitude, par exemple :Ou bien :Veillez à ce qu’il réponde correctement à votre
/v1 API compatible OpenAI avant d’ajouter le connecteur.2
Obtenez un code d’autorisation puis associez le connecteur.
In the dashboard, open the Setup tab and select Start pairing to get a one-time claim code shaped Tokios propose une version Linux arm64 de
TKS-XXXX-XXXX (valid for about 15 minutes). On the Spark, run:tokios-connector, compatible avec le processeur Grace utilisé sur DGX Spark. Les étapes d’intégration avec systemd et de packaging peuvent varier selon la version du système d’exploitation DGX ; renseignez-vous sur votre version avant d’automatiser l’installation.De retour sur le tableau de bord, approuvez le périphérique dans l’onglet Setup ou Connectors. Le jeton du connecteur est transmis via le tunnel ; vous n’aurez jamais à le coller dans un fichier.3
Orientez le connecteur vers le point de terminaison /v1 de votre runtime.
L’ID de modèle amont du connecteur correspond à l’API compatible OpenAI du runtime sur Spark, et non à un port que vous exposez en externe. Les ports par défaut sont : Ollama
11434, vLLM 8000 (tous deux avec /v1 ajouté). Aucune règle de pare-feu entrante n’est requise, car le connecteur ne fait que des appels sortants.4
Enregistrez un déploiement.
Dans l’onglet Models, associez votre ID de modèle amont (par exemple
llama3.1) à un nom de déploiement public tel que spark-llama. Les clients transmettent ce nom de déploiement dans le champ model, et non l’ID amont.5
Créez une clé API.
Dans l’onglet Keys, générez une clé. Il s’agit de jetons Bearer
sk-tok-… affichés une seule fois, et pouvant être limités à certains modèles de noms de déploiement.Utilisez-la depuis n’importe où.
Une fois le connecteur configuré et le déploiement enregistré, dirigez votre client vers Tokios plutôt que vers l’adresse IP de Spark.Le sélecteur de modèles de Claude Code ne liste que les IDs
claude* ; par conséquent, votre déploiement Tokios n’apparaîtra pas dans la liste. Il faut donc spécifier --model spark-llama manuellement.Pourquoi un seul point de terminaison ?
- Permet de changer de modèle sans modifier la configuration client. En associant un nom de déploiement à un autre ID de modèle amont ou à un autre backend, tous les agents et scripts ciblant déjà
spark-llamacontinuent de fonctionner sans modification. - Clés à portée limitée pour les collègues. Vous pouvez attribuer à un collègue une clé API restreinte à certains schémas de déploiement, sans lui donner un accès total au Spark.
- Aucun port entrant sur le Spark. Le connecteur ne crée que des connexions sortantes, ce qui vous évite de lier le runtime à
0.0.0.0ou de gérer un tunnel SSH ou un nœud Tailscale pour y accéder depuis votre ordinateur portable.
Prochaines étapes
Démarrage rapide
Mettez en place en un rien de temps un connecteur fonctionnel, un déploiement et une clé API.
Installer le connecteur
Guide complet d’installation et d’appairage du connecteur pour toutes les plateformes.
Utiliser Claude Code
Configuration détaillée de
ANTHROPIC_BASE_URL et ANTHROPIC_API_KEY.Référence de configuration du connecteur
Diffusez plusieurs modèles depuis un seul Spark grâce à
tokios-connector.json.