Skip to main content
DGX Spark上ではすでにモデルが問題なく稼働しています。難しいのは、サーバーをインターネットに公開したりゲートウェイを自前で構築したりせずに他の場所からそのモデルを利用することです。Tokiosのコネクターをランタイムの隣で実行すれば、https://api.tokios.comという場所に認証付きのエンドポイントが生成され、OpenAIおよびAnthropic双方のリクエスト形式に対応します。これにより、ファイアウォールの設定をいじる必要もなく、ご自身のノートパソコンやClaude Code、招待した他のユーザーもSparkにアクセスできるようになります。
Sparkをすぐに接続したいですか？ コネクターの設定手順を知りたい場合は クイックスタート へ進んでください。すでにランタイムが稼働している場合は モデルの登録 へお進みください。

​
「it runs」の後の空白部分

DGX SparkやGB10のユーザーは通常、Ollamaやllama.cpp、vLLMを使ってモデルを動作させますが、次の課題としてSpark本体以外の場所からそのモデルを利用したいという要望が生じます。
  • 仕組みの構築。 複数のモデルが存在する環境からOpenAI互換のエンドポイントをひとつ作るには、LiteLLMやllama-swap、ランタイム自体を連携させ、同期を維持するためのポーリングデーモンも用意する必要があります。これらはDGX Sparkコミュニティのプロジェクトでも明確な目標として挙げられていますが、実際には「仕組みの構築」と呼ばれ、できるだけ避けたい作業でもあります。
  • リモートアクセス。 他のマシンからSparkにアクセスするための一般的な方法としては、ランタイムを0.0.0.0（snap set ollama host="0.0.0.0:11434"）にバインドしたり、SSHトンネルやTailscaleを利用したりしますが、いずれもARM64やDGX OS上での設定が煩雑です。また、単純にポートを開放しただけではクライアントごとの認証機能も備わっていません。
  • APIの形式。 Claude CodeはAnthropicのMessages形式を使用し、ローカルのランタイムはOpenAIのChat Completions形式を使います。この二つをつなぐには、小さなプロキシを自作し維持していく必要があります。
Tokiosは既存のランタイムの上に配置される接続レイヤーです。Ollamaやllama.cpp、vLLMを置き換えるものではありません。
2のDGX Spark群はDeepSeek-V4-Flash-0731を分割して運用するのに十分な総メモリ量を備えていますが、DeepSeek専用のクラスター構成は依然としてコミュニティによる検証段階にあり、0731の再検証も必要です。コネクターはヘッドノードの/v1エンドポイント上で稼働させてください。成熟度のラベルや設定の範囲については DeepSeek V4 Flashのローカルハードウェア をご参照ください。

​
DGX SparkクラスターでKimi K3を実行することは可能か？

No. Kimi K3’s 2.8T parameters (~50B active per token through MoE) need roughly 1.4 TB at their native 4-bit floor, while NVIDIA’s documented Spark clusters top out at 4 nodes and 512 GB — and Moonshot targets K3 at supernodes with 64 or more accelerators. Even 8 DGX Sparks (1 TB pooled) fall 376 GB short of just the raw weight floor. 現在のSpark環境においては、NVIDIAが公開している 120B シングルノード、400B ツーノード、または 700B フォーノード構成の範囲内からモデルを選択してください。DGX Sparkモデル互換性ページに全リストが記載されていますし、各Spark構成に最適なモデルを知りたい場合は Kimi K3の代替として実行すべきモデルもご覧ください。K3のメモリ計算方法やクラスターの仕様については、Kimi K3のハードウェア詳細解説を参照してください。

​
Spark環境上でセットアップを行う

1

Spark上でランタイムを起動する

通常通りモデルサーバーを実行してください。例えば以下のように：
または
コネクターを接続する前に、そのOpenAI互換の/v1 APIが正常に応答するか確認してください。
2

クレームコードを取得し、コネクターとペアリングする

In the dashboard, open the Setup tab and select Start pairing to get a one-time claim code shaped TKS-XXXX-XXXX (valid for about 15 minutes). On the Spark, run:
TokiosではLinux arm64向けのtokios-connectorビルドも提供されており、DGX Sparkに搭載されているGrace CPUにも対応しています。具体的なsystemd連携やパッケージ化手順はDGX OSのバージョンによって異なるため、インストールスクリプトを作成する前にご自身の環境を確認してください。ダッシュボードに戻り、SetupまたはConnectorsタブで該当デバイスを承認します。コネクター用のトークンは安全なトンネル経由で送信されるため、ユーザーがファイルに手動で入力する必要はありません。
3

コネクターをご利用中のランタイムの /v1 エンドポイントに向けてください

コネクターのアップストリーム先は、外部に公開したポートではなく、Spark上にあるランタイム自身のOpenAI互換APIです。既定のポートはOllamaが 11434、vLLMが 8000 で、どちらも末尾に /v1 が付加されます。インバウンド用のファイアウォールルールは不要で、コネクターは送信通信のみ行います。
4

デプロイを登録する

On the Models tab, map your upstream model id (for example llama3.1) to a public deployment name such as spark-llama. Clients send this deployment name in the model field, not the upstream id.
5

APIキーを作成する

On the Keys tab, create a key. Keys are sk-tok-… Bearer tokens, shown once, and can be scoped to specific deployment name patterns.

​
どこからでも利用可能

コネクターのペアリングとデプロイ登録が完了すれば、クライアント側はSparkのIPアドレスではなくTokiosを指定すればよくなります。
Claude Codeのモデル選択画面には claude* 形式のIDのみが表示されるため、Tokios上のデプロイはリストに現れません。その場合は --model spark-llama を明示的に指定してください。
Spark上で複数のモデルを運用したり、Ollama、llama.cpp、vLLM間でトラフィックを分散させたい場合は、単一アップストリーム用の手順ではなく コネクター設定ファイル を用いて複数のルートやアップストリーム先を定義します。同一エンドポイント下で複数のデプロイを登録・切り替える方法については モデルルーティング をご覧ください。

​
なぜエンドポイントが一つだけなのか

  • クライアント側の設定変更なしにモデルを切り替え可能です。デプロイ名を別のアップストリームモデルやバックエンドに紐付け直しても、既に spark-llama を利用しているエージェントやスクリプトはそのまま動作し続けます。
  • チームメイト向けのスコープ付きキー。 チームメイトにSparkへの全権限を与える代わりに、特定のデプロイパターンに限定されたキーを付与できます。
  • Spark側に受信用ポートは不要。 コネクターは送信接続のみ行うため、ラップトップからアクセスするためにランタイムを0.0.0.0に紐付けたり、SSHトンネルやTailscaleノードを維持したりする必要はありません。

​
次に行うべきこと

クイックスタート

ゼロからコネクター、デプロイ、そしてAPIキーを設定して稼働させるまでの手順です。

コネクターのインストール

各プラットフォーム向けのコネクターの完全なインストールおよびペアリング手順を記載しています。

Claude Codeの利用法

Configure ANTHROPIC_BASE_URL and ANTHROPIC_API_KEY in detail.

コネクター設定のリファレンス

Serve multiple models from one Spark with tokios-connector.json.