将 NVIDIA DGX Spark 变为私有模型端点

你的 DGX Spark 本身已经能顺利运行模型。真正的难点在于从其他设备使用模型，同时不将设备暴露到互联网或手动搭建网关。在运行环境旁边部署 Tokios 连接器，即可获得 https://api.tokios.com 上一个经过身份验证的端点，同时支持 OpenAI 和 Anthropic 请求格式，让笔记本、Claude Code 以及受邀成员都能访问 Spark，无需调整防火墙规则。

准备连接 Spark 了吗？请前往快速入门完成连接器配置，若已有运行环境在监听，可直接跳转至注册模型。

“能跑了”之后的缺口

DGX Spark 和 GB10 用户通常已用 Ollama、llama.cpp、vLLM 或 Lemonade Server 跑起了模型，但随即遇到第二个问题：从 Spark 以外的地方使用这个模型。

管线搭建。 从多模型环境中得到一个 OpenAI 兼容端点，往往需要将 LiteLLM、llama-swap 和运行环境本身串联起来，再加上一个轮询守护进程保持同步——部分 DGX Spark 社区项目将此明确列为目标，并将这些搭建工作称为他们想跳过的”管线活”。
远程访问。 从其他机器访问 Spark 的常见方式——将运行环境绑定到 0.0.0.0（snap set ollama host="0.0.0.0:11434"）、SSH 隧道或 Tailscale——在 ARM64 / DGX OS 上各有各的繁琐设置，而且直接暴露的端口没有针对各客户端的身份验证。
API 格式。 Claude Code 使用 Anthropic Messages 格式；本地运行环境使用 OpenAI Chat Completions 格式。桥接两者通常意味着编写并维护一个小代理。

Tokios 是坐落于你已有运行环境之上的连接层——它不会取代 Ollama、llama.cpp、vLLM 或 Lemonade Server。

2 台 DGX Spark 可提供足够的聚合内存来分片 DeepSeek-V4-Flash-0731，但 DeepSeek 专用的集群配方仍经社区测试，需要 0731 重新验证。将连接器保留在头节点的 /v1 端点上。参见 DeepSeek V4 Flash 本地硬件了解成熟度标签和设置边界。

DGX Spark 集群能运行 Kimi K3 吗？

不能。Kimi K3 的 2.8T 参数（通过 MoE 每个 token 激活约 50B）需要约 1.4 TB（原生 4-bit 下限），而 NVIDIA 文档记载的 Spark 集群最多 4 个节点、512 GB——Moonshot 将 K3 定位于配备 64 个或更多加速器的超级节点。即使 8 台 DGX Spark（合计 1 TB）也距原始权重下限差 376 GB。对于当前的 Spark，请选择 NVIDIA 文档记载的 120B 单节点、400B 双节点或 700B 四节点范围内的模型——参见 DGX Spark 模型兼容性获取完整列表，或替代 Kimi K3 的选择获取每种 Spark 配置的最佳选择。关于 K3 的完整内存计算和集群数学，参见 Kimi K3 硬件深度分析。

在 Spark 上设置

在 Spark 上启动运行环境

按常规方式运行模型服务，例如：

ollama run llama3.1

或

vllm serve meta-llama/Llama-3.1-8B-Instruct

Lemonade Server 是另一个选择，它能自动处理 CUDA——检测 DGX Spark 的 GPU 并选择正确的后端，无需手动设置参数：

lemonade-server serve --model your-model

Lemonade Server 默认监听端口 13305，并在 /v1 上暴露兼容 OpenAI 的 API。安装说明请参见 lemonade-server.ai。在添加连接器之前，先确认它能通过自身的 OpenAI 兼容 /v1 API 正常响应。

获取配对码并配对连接器

在dashboard中，打开 Setup 选项卡并选择 Start pairing，获取一个格式为 TKS-XXXX-XXXX 的一次性配对码（有效期约 15 分钟）。在 Spark 上运行：

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

Tokios 提供 Linux arm64 版本的 tokios-connector，覆盖 DGX Spark 的 Grace CPU。具体的 systemd 集成和打包步骤可能因 DGX OS 版本而异——编写安装脚本前请先确认你的版本。回到控制台，在 Setup 或 Connectors 选项卡上批准该设备。连接器令牌通过隧道传输——你无需将其粘贴到文件中。

将连接器指向运行环境的 /v1 端点

连接器的上游是 Spark 上运行环境自身的 OpenAI 兼容 API，不是你对外暴露的端口。默认端口：Ollama 11434、vLLM 8000、Lemonade Server 13305（均追加 /v1）。无需入站防火墙规则——连接器仅发起出站连接。

注册部署

在 Models 选项卡上，将上游模型 ID（例如 llama3.1）映射到公共部署名称，如 spark-llama。客户端在 model 字段中发送此部署名称，而非上游 ID。

创建 API 密钥

在 Keys 选项卡上创建密钥。密钥为 sk-tok-… Bearer 令牌，仅显示一次，可限定到特定部署名称模式。

从任何地方使用

连接器配对并注册部署后，将客户端指向 Tokios，而非 Spark 的 IP 地址。

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model spark-llama

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="spark-llama",
    messages=[{"role": "user", "content": "Hello from my laptop"}],
)

Claude Code 的模型选择器仅列出 claude* ID，因此你的 Tokios 部署不会出现在列表中——需显式传递 --model spark-llama。

如果在 Spark 上运行多个模型，或同时将流量分散到 Ollama、llama.cpp、vLLM 和 Lemonade Server，请使用连接器配置文件定义多条路由和上游，而非单一上游配对流程。参见模型路由了解如何在同一端点后注册和切换多个部署。

为什么只需要一个端点

无需修改客户端配置即可更换模型。 将部署名称指向不同的上游模型或后端，每个已指向 spark-llama 的代理和脚本继续正常工作。
为团队成员分配受限密钥。 给团队成员一个限定到特定部署模式的密钥，而非共享对 Spark 的原始访问。
Spark 无需开放入站端口。 连接器仅发起出站连接，因此你无需将运行环境绑定到 0.0.0.0，也无需维护 SSH 隧道或 Tailscale 节点来从笔记本访问。

后续步骤

快速入门

从零开始完成连接器、部署和 API 密钥的配置。

安装连接器

所有平台的完整连接器安装和配对参考。

使用 Claude Code

详细配置 ANTHROPIC_BASE_URL 和 ANTHROPIC_API_KEY。

连接器配置参考

使用 tokios-connector.json 从一台 Spark 服务多个模型。

硬件与适配

服务与连接运行时

连接客户端或应用

对比

将 NVIDIA DGX Spark 变为私有模型端点

“能跑了”之后的缺口

DGX Spark 集群能运行 Kimi K3 吗？

在 Spark 上设置

从任何地方使用

为什么只需要一个端点

后续步骤

快速入门

安装连接器

使用 Claude Code

连接器配置参考

​“能跑了”之后的缺口

​DGX Spark 集群能运行 Kimi K3 吗？

​在 Spark 上设置

​从任何地方使用

​为什么只需要一个端点

​后续步骤

快速入门

安装连接器

使用 Claude Code

连接器配置参考

“能跑了”之后的缺口

DGX Spark 集群能运行 Kimi K3 吗？

在 Spark 上设置

从任何地方使用

为什么只需要一个端点

后续步骤