Skip to main content
您的 DGX Spark 本身已能顺利运行模型。真正的难点在于如何在其他设备上调用模型，同时又不将设备直接暴露在公网或需自行搭建网关。只需在运行环境中部署 Tokios 连接器，即可在 https://api.tokios.com 处生成一个经过身份验证的端点，该端点同时支持 OpenAI 与 Anthropic 的请求格式，从而让您的笔记本电脑、Claude Code 以及受邀用户都能轻松访问 Spark，而无需调整防火墙设置。
准备连接 Spark 了吗？请前往 快速入门 完成连接器配置；若您的环境已具备可监听的运行环境，则可直接跳转至 注册模型。

​
“它运行正常”之后的空白段落

拥有 DGX Spark 或 GB10 的用户通常已借助 Ollama、llama.cpp 或 vLLM 成功运行模型，但随之而来的难题便是如何在 Spark 之外的其他设备上调用这些模型。
  • 底层配置。 要从多模型环境中生成一个与 OpenAI 兼容的端点，往往需要将 LiteLLM、llama-swap 以及运行环境本身相互串联，还需配置同步机制——部分 DGX Spark 社区项目将此类配置视为核心目标，却也将其称为“底层配置”并希望予以简化。
  • 远程访问。 从其他设备访问 Spark 的常见方式包括将运行环境绑定至 0.0.0.0（snap set ollama host="0.0.0.0:11434"）、使用 SSH 隧道或 Tailscale，但这些方案在 ARM64/DGX OS 环境下均需繁琐设置；此外直接开放的端口也缺乏针对各客户端的身份验证机制。
  • 接口格式适配。 Claude Code 采用 Anthropic 的 Messages 格式，而本地运行环境则使用 OpenAI Chat Completions 格式。要实现两者互通，通常需要自行编写并维护代理程序。
Tokios 是运行于现有运行环境之上的连接层，它并不会取代 Ollama、llama.cpp 或 vLLM。
2 型号的 DGX Spark 具备足够的总内存容量以支撑 DeepSeek-V4-Flash-0731 的分布式部署，但针对 DeepSeek 的集群配置方案仍需经社区验证，且需进行 0731 层面的重新校验。请将连接器部署在主节点的 /v1 端点上。关于成熟度分级及配置限制，请参阅 DeepSeek V4 Flash 本地硬件配置指南。

​
DGX Spark 集群能够运行 Kimi K3 吗？

不能。Kimi K3 拥有 2.8T 参数（借助 MoE 每个 token 激活约 50B），按其原生精度下限计算需要约 1.4 TB 内存（即 4-bit），而 NVIDIA 官方文档所列的 Spark 集群最多仅支持 4 个节点、512 GB——且 Moonshot 将 K3 的目标定位于配备 64 个或更多加速器的超级节点。即便将 8 台 DGX Spark（合计 1 TB）的内存池化，距离仅容纳原始权重的下限也还差 376 GB。 针对当前的 Spark 部署，请从 NVIDIA 文档所列出的 120B 单节点、400B 双节点或 700B 四节点配置范围中挑选合适的模型。完整列表可查阅 DGX Spark 模型兼容性说明，若需根据具体 Spark 配置选出最佳模型，则可参考 Kimi K3 的替代方案指南。关于 K3 的内存计算方式以及集群配置的具体算法，请参阅 Kimi K3 硬件深度解析。

​
在您的 Spark 集群上完成相关配置

1

启动 Spark 平台上的运行环境

按常规方式运行模型服务即可，例如：
或者
在添加连接器之前，请先确认该模型能够通过其兼容 OpenAI 协议的 /v1 API 正常响应请求。
2

获取授权令牌并绑定连接器

在 dashboard 界面中打开 Setup 选项卡并选择 Start pairing 选项，即可获得一个格式为 TKS-XXXX-XXXX 的临时授权令牌，该令牌的有效期约为 15 分钟。随后在 Spark 集群端执行相应指令即可。
Tokios 提供了适用于 Linux arm64 架构的 tokios-connector 程序包，可完美适配 DGX Spark 搭载的 Grace 处理器。具体的 systemd 集成与打包流程会因 DGX 操作系统的版本而异，请先确认您的系统版本再编写安装脚本。返回控制台界面后，在 Setup 或 Connectors 选项卡中批准该设备的接入请求即可。连接器的令牌信息会通过加密通道自动传输，您无需手动将其写入任何配置文件。
3

将连接器指向您运行时环境的 /v1 端点即可。

该连接器的上游实际上是 Spark 上运行时自带的兼容 OpenAI 标准的 API，而非您对外开放的端口。默认端口设置如下：Ollama 为 11434，vLLM 为 8000（两者均需添加后缀 /v1）。由于连接器仅负责向外发起连接，因此无需配置入站防火墙规则。
4

执行部署操作。

在 Models 选项卡中，把您选定的上游模型 ID（例如 llama3.1）对应到某个公开部署名称，比如 spark-llama。客户端在调用时会使用此部署名称填入 model 字段，而非上游模型 ID。
5

生成 API 密钥。

在 Keys 选项卡内创建所需密钥即可。这些密钥属于 sk-tok-… 类型的 Bearer 令牌，系统仅展示一次，您还可限定其适用的部署名称范围。

​
任意位置均可调用。

完成连接器配对并成功注册部署后，客户端只需指向 Tokios 地址，而无需再使用 Spark 的 IP 地址。
Claude Code 的模型选择器仅显示 claude* 格式的模型 ID，因此您的 Tokios 部署不会出现在列表中，此时需手动指定 --model spark-llama 参数。
若您在 Spark 上运行多个模型，或需同时将流量分流至 Ollama、llama.cpp 以及 vLLM，建议借助 连接器配置文件 来定义多条路由规则及对应的上游模型，而非仅配置单一上游模型。关于如何注册并切换多个部署实例，可查阅 模型路由指南。

​
为何仅设一个端点？

  • 无需修改客户端配置即可更换模型。 只需将某个部署名称对应到不同的上游模型或后端服务，所有原本指向 spark-llama 的客户端程序与脚本均可继续正常运行。
  • 针对团队成员的受限令牌。 您可以为团队成员分配仅能用于特定部署模式的令牌，而无需授予其对 Spark 的完整访问权限。
  • Spark 无需开放入站端口。 该连接器仅执行出站连接，因此您无需将运行环境绑定至 0.0.0.0，也无需维护 SSH 隧道或 Tailscale 节点即可从笔记本电脑访问它。

​
后续步骤

快速入门

从零开始配置连接器、完成部署并获取 API 密钥。

安装连接器

适用于各类平台的连接器安装及配对操作指南。

使用 Claude Code

详细说明如何配置 ANTHROPIC_BASE_URL 与 ANTHROPIC_API_KEY。

连接器配置参考手册

借助 tokios-connector.json 在单个 Spark 实例上同时运行多个模型。