NVIDIA DGX Spark をプライベートなモデルエンドポイントにする

​

「it runs」の後の空白部分

• 仕組みの構築。 複数のモデルが存在する環境からOpenAI互換のエンドポイントをひとつ作るには、LiteLLMやllama-swap、ランタイム自体を連携させ、同期を維持するためのポーリングデーモンも用意する必要があります。これらはDGX Sparkコミュニティのプロジェクトでも明確な目標として挙げられていますが、実際には「仕組みの構築」と呼ばれ、できるだけ避けたい作業でもあります。
• リモートアクセス。 他のマシンからSparkにアクセスするための一般的な方法としては、ランタイムを0.0.0.0（snap set ollama host="0.0.0.0:11434"）にバインドしたり、SSHトンネルやTailscaleを利用したりしますが、いずれもARM64やDGX OS上での設定が煩雑です。また、単純にポートを開放しただけではクライアントごとの認証機能も備わっていません。
• APIの形式。 Claude CodeはAnthropicのMessages形式を使用し、ローカルのランタイムはOpenAIのChat Completions形式を使います。この二つをつなぐには、小さなプロキシを自作し維持していく必要があります。

​

DGX SparkクラスターでKimi K3を実行することは可能か？

​

Spark環境上でセットアップを行う

ollama run llama3.1

vllm serve meta-llama/Llama-3.1-8B-Instruct

lemonade-server serve --model your-model

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

どこからでも利用可能

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model spark-llama

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="spark-llama",
    messages=[{"role": "user", "content": "Hello from my laptop"}],
)

​

なぜエンドポイントが一つだけなのか

• クライアント側の設定変更なしにモデルを切り替え。 デプロイ名を別のアップストリームモデルやバックエンドに紐付け直しても、既に spark-llama を利用しているエージェントやスクリプトはそのまま動作し続けます。
• チームメイト向けのスコープ付きキー。 チームメイトにSparkへの全権限を与える代わりに、特定のデプロイパターンに限定されたキーを付与できます。
• Spark側に受信用ポートは不要。 コネクターは送信接続のみ行うため、ラップトップからアクセスするためにランタイムを0.0.0.0に紐付けたり、SSHトンネルやTailscaleノードを維持したりする必要はありません。

​

次に行うべきこと