Passer au contenu principal
Votre DGX Spark fait déjà tourner le modèle sans problème. La difficulté consiste à l’utiliser depuis un autre appareil sans exposer la machine à internet ni à devoir assembler manuellement une passerelle. Lancez le connecteur Tokios à côté de votre environnement d’exécution et vous obtenez un point de terminaison authentifié à https://api.tokios.com qui accepte les formats de requête OpenAI et Anthropic. Ainsi, votre ordinateur portable, Claude Code et toutes les personnes que vous invitez peuvent atteindre le Spark sans modifier les règles de pare-feu.
Prêt à connecter votre Spark ? Passez au guide de démarrage rapide pour la configuration complète du connecteur, ou allez directement à l’enregistrement d’un modèle si vous avez déjà un environnement d’exécution actif.

​
L’espace vide après « ça fonctionne »

Les propriétaires de DGX Spark et GB10 font généralement tourner un modèle avec Ollama, llama.cpp, vLLM ou Lemonade Server, puis se heurtent à un second problème : utiliser ce modèle depuis un autre appareil que le Spark lui-même.
  • Tuyauterie. Obtenir un point de terminaison compatible OpenAI à partir d’une configuration multi-modèles exige souvent de relier LiteLLM, llama-swap et l’environnement d’exécution, plus un démon de sondage pour les synchroniser — des composants que certains projets communautaires DGX Spark décrivent comme l’objectif explicite, et la configuration comme de la « tuyauterie » dont ils préféreraient se passer.
  • Accès à distance. Les méthodes classiques pour atteindre le Spark depuis une autre machine — lier l’environnement d’exécution à 0.0.0.0 (snap set ollama host="0.0.0.0:11434"), un tunnel SSH ou Tailscale — nécessitent chacune une configuration délicate sous ARM64 / DGX OS, et un port ouvert directement n’offre aucune authentification par client.
  • Format d’API. Claude Code parle le format Messages d’Anthropic ; les environnements d’exécution locaux parlent le format Chat Completions d’OpenAI. Faire le pont entre les deux exige généralement l’écriture et la maintenance d’un petit proxy.
Tokios est la couche de connexion qui se superpose à l’environnement d’exécution que vous utilisez déjà — il ne remplace pas Ollama, llama.cpp, vLLM ou Lemonade Server.
2 DGX Sparks fournissent suffisamment de mémoire agrégée pour sharder DeepSeek-V4-Flash-0731, mais les recettes de cluster spécifiques à DeepSeek restent testées par la communauté et nécessitent une revalidation 0731. Gardez le connecteur sur le point de terminaison /v1 du nœud principal. Consultez DeepSeek V4 Flash local hardware pour les labels de maturité et les limites de configuration.

​
Un cluster DGX Spark peut-il exécuter Kimi K3 ?

Non. Kimi K3 a 2.8T de paramètres (~50B actifs par token via MoE) et nécessite environ 1.4 TB à son plancher natif de 4 bits, tandis que les clusters Spark documentés par NVIDIA culminent à 4 nœuds et 512 GB — et Moonshot cible K3 sur des supernœuds avec 64 accélérateurs ou plus. Même 8 DGX Sparks (1 TB pooled) sont 376 GB en dessous du simple plancher de poids bruts. Pour le Spark aujourd’hui, choisissez un modèle dans les plages documentées par NVIDIA : 120B en mono-nœud, 400B en bi-nœud ou 700B en quadri-nœud — consultez DGX Spark model compatibility pour la liste complète, ou what to run instead of Kimi K3 pour le meilleur choix par configuration Spark. Pour le calcul complet de la mémoire K3 et les mathématiques de cluster, consultez Kimi K3 hardware deep dive.

​
Configurez-le sur votre Spark

1

Démarrez votre environnement d'exécution sur le Spark

Lancez votre serveur de modèles comme d’habitude, par exemple :
ou
Lemonade Server est une alternative qui gère CUDA automatiquement — il détecte le GPU de votre DGX Spark et sélectionne le bon backend sans indicateurs manuels :
Lemonade Server écoute par défaut sur le port 13305 et expose une API compatible OpenAI à /v1. Consultez lemonade-server.ai pour les instructions d’installation.Confirmez qu’il répond bien sur son API compatible OpenAI /v1 avant d’ajouter le connecteur.
2

Obtenez un code d'appairage et appairez le connecteur

Dans le dashboard, ouvrez l’onglet Setup et sélectionnez Start pairing pour obtenir un code d’appairage à usage unique au format TKS-XXXX-XXXX (valable environ 15 minutes). Sur le Spark, exécutez :
Tokios fournit une version Linux arm64 de tokios-connector, qui couvre le CPU Grace du DGX Spark. Les étapes exactes d’intégration systemd et de packaging peuvent varier selon la version de DGX OS — vérifiez la vôtre avant d’automatiser l’installation.De retour dans le dashboard, approuvez l’appareil dans l’onglet Setup ou Connectors. Le jeton du connecteur est transmis via le tunnel — vous n’avez jamais à le coller dans un fichier.
3

Pointez le connecteur vers le point de terminaison /v1 de votre environnement d'exécution

L’upstream du connecteur est l’API compatible OpenAI propre à l’environnement d’exécution sur le Spark, pas un port que vous exposez vers l’extérieur. Ports par défaut : Ollama 11434, vLLM 8000, Lemonade Server 13305 (tous avec /v1 ajouté). Aucune règle de pare-feu entrante n’est nécessaire — le connecteur ne fait que des appels sortants.
4

Enregistrez un déploiement

Dans l’onglet Models, associez votre id de modèle amont (par exemple llama3.1) à un nom de déploiement public tel que spark-llama. Les clients envoient ce nom de déploiement dans le champ model, pas l’id amont.
5

Créez une clé API

Dans l’onglet Keys, créez une clé. Les clés sont des jetons Bearer sk-tok-…, affichés une seule fois, et peuvent être limités à des motifs de noms de déploiement spécifiques.

​
Utilisez-le depuis n’importe où

Une fois le connecteur appairé et un déploiement enregistré, pointez votre client vers Tokios au lieu de l’adresse IP du Spark.
Le sélecteur de modèles de Claude Code ne liste que les ids claude*, donc votre déploiement Tokios n’apparaîtra pas dans la liste — passez --model spark-llama explicitement.
Si vous exécutez plusieurs modèles sur le Spark, ou si vous répartissez le trafic entre Ollama, llama.cpp, vLLM et Lemonade Server simultanément, utilisez le fichier de configuration du connecteur pour définir plusieurs routes et upstreams au lieu du flux d’appairage à upstream unique. Consultez Model routing pour savoir comment enregistrer et basculer entre plusieurs déploiements derrière le même point de terminaison.

​
Pourquoi un seul point de terminaison

  • Changez de modèle sans toucher à la configuration client. Pointez un nom de déploiement vers un autre modèle amont ou backend, et chaque agent et script qui cible déjà spark-llama continue de fonctionner.
  • Des clés limitées pour les collègues. Donnez à un collègue une clé limitée à des motifs de déploiement spécifiques au lieu de partager l’accès brut au Spark.
  • Aucun port entrant sur le Spark. Le connecteur ne fait que des connexions sortantes, donc vous n’avez pas besoin de lier l’environnement d’exécution à 0.0.0.0 ni de maintenir un tunnel SSH ou un nœud Tailscale pour y accéder depuis un ordinateur portable.

​
Prochaines étapes

Quickstart

Partez de zéro pour un connecteur, un déploiement et une clé API fonctionnels.

Install the connector

Référence complète d’installation et d’appairage du connecteur pour toutes les plateformes.

Use Claude Code

Configurez ANTHROPIC_BASE_URL et ANTHROPIC_API_KEY en détail.

Connector config reference

Servez plusieurs modèles depuis un seul Spark avec tokios-connector.json.