> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# 在本地运行 Muse Spark Open 816B：硬件、量化和设置

> Meta 的 Muse Spark Open 是一个 816B/42B 活跃参数的 MoE 模型，支持 1M 上下文、多模态输入（文本、图像、视频、音频），在前沿智能体编码基准中领先。硬件需求、GGUF 变体和设置指南。

> [!NOTE]
>
> Last verified: 2026-10-16

Muse Spark Open 是 Meta Superintelligence Labs 的前沿开放权重模型，于十月15日（2026年）发布。它是一个**混合专家** Transformer，**总参数量为 816B**，**每个令牌约 42B 活跃参数**，拥有 1 百万令牌上下文窗口，原生支持文本、图像、视频和音频输入。Meta 在真实开发者工作流上对其进行了训练——多文件重构、长时间调试、工具调用脚手架——它在开放权重模型中领先于智能体编码和工具使用基准。

自托管的关键数字是 **226 GB**。这是 2-bit GGUF 的下载大小，也是这个模型能在顶配 Mac Studio 上运行而非数据中心集群的原因。4-bit 版本为 506 GB，完整 BF16 约为 1.5 TB。

> [!TIP]
>
> 已经在运行此模型？[在 Tokios 上注册它](/zh/setup/register-model.md) 以便从任何客户端通过 `https://api.tokios.com` 访问它。

## Muse Spark Open 概览

| 属性 | Muse Spark Open 816B |
| - | - |
| Hugging Face 仓库 | [`meta-models/Muse-Spark-Open-816B-A42B`](https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B) |
| 许可证 | Muse Model License |
| 架构 | 混合专家 Transformer — 每层 256 个专家，每个令牌 8 个活跃专家 |
| 参数 | 总计约 816B，每个令牌约 42B 活跃 |
| 层数 | 62 |
| 隐藏维度 | 8,192 |
| 注意力 | 分组查询 — 128 个查询头，16 个 KV 头，头维度 64，QK-norm，学习残差门 |
| 上下文窗口 | 1,048,576 个令牌 |
| 词表 | 202,048 个令牌 |
| 模态 | 文本、图像、视频和音频输入 — 文本输出 |
| 语言 | 100+ |
| 推理 | 可控 — `low`、`medium`、`high`、`xhigh`（默认 `xhigh`） |
| 工具调用 | 支持，原生基于通道的聊天模板（`to=self` 用于内部推理，`to=user` 用于最终回答） |
| 感知编码器 | 1.8B 参数 ViT，50 层，14×14 补丁，2D RoPE，稀疏注意力 |
| 音频编码器 | 24 kHz 单声道原始波形，1 个令牌每 80 ms，卷积金字塔 |
| KV 缓存 | 约 250 KB（BF16 每令牌），约 266 GB（完整 1M 上下文） |
| 训练 | 公开数据源、互联网爬取、第三方获取、Meta 产品数据、合成数据；安全后训练 |

来源：[Meta 的 Muse Spark Open 博客文章](https://huggingface.co/blog/meta-muse-spark-open)和[模型卡](https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B)。

## 变体与模型 ID

Unsloth 发布从 2-bit 到 4-bit 的 GGUF 构建版本。Meta 发布 BF16 和 NVFP4（Blackwell）检查点。MLX 社区提供 Apple Silicon 优化的量化版本。

### GGUF（llama.cpp / Ollama 兼容）

| 量化 | 近似大小 | 说明 |
| - | - | - |
| `UD-IQ1_S` | 176 GB | 极限压缩；质量损失显著 |
| `UD-IQ1_M` | 209 GB | 精度略高 |
| `UD-IQ2_XXS` | 226 GB | 可在 Mac M3 Ultra 512 GB 上以约 18 tok/s 运行 |
| `UD-IQ2_S` | 275 GB | |
| `UD-Q2_K_XL` | 311 GB | |
| `UD-IQ3_XXS` | 340 GB | |
| `UD-Q3_K_XL` | 401 GB | |
| `UD-Q4_K_XL` | 506 GB | 推荐 — 最佳质量/大小平衡 |

GGUF 来源：[`unsloth/Muse-Spark-Open-816B-A42B-GGUF`](https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B-GGUF)。

### 全精度与 Blackwell

| 检查点 | 大小 | 硬件目标 |
| - | - | - |
| BF16 (`meta-models/Muse-Spark-Open-816B-A42B`) | \~1.5 TB | 4 节点 × 8× H200（TP=32） |
| NVFP4 (`meta-models/Muse-Spark-Open-816B-A42B-NVFP4`) | \~700 GB | 单个 B200/GB300 节点 |

### MLX（Apple Silicon）

| 量化 | 近似内存 | 说明 |
| - | - | - |
| `oQ3e`（3-bit） | \~344 GB | 约 21 tok/s 生成速度（M3 Ultra） |
| `oQ4e`（4-bit） | \~450 GB | |

MLX 来源：[`mlx-community/Muse-Spark-Open-816B-A42B-oQ3e`](https://huggingface.co/mlx-community/Muse-Spark-Open-816B-A42B-oQ3e) 和 [`-oQ4e`](https://huggingface.co/mlx-community/Muse-Spark-Open-816B-A42B-oQ4e)。

## MoE 内存计算

MoE 有一个内存陷阱：路由每个令牌只激活一部分参数，但**所有**专家权重都必须驻留在内存中。Muse Spark Open 每个令牌激活 42B（共 816B），但你需要加载的是完整的权重占用。计算如下：

* 816B 参数 × 约 0.5 字节（4-bit）≈ **408 GB** 权重
* 约 506 GB（`UD-Q4_K_XL` 发布版本），包含嵌入、感知编码器、音频编码器和元数据
* 再加上 KV 缓存 — 每令牌约 250 KB（BF16），131K 上下文增加约 33 GB；完整 1M 上下文约 266 GB

总参数的内存开销无法规避。实际路径是激进量化（2-bit 226 GB 用于 Mac Studio，4-bit 506 GB 用于多 GPU 服务器）或 Blackwell 上的 NVFP4。参见 [MoE 路由与专家并行](/zh/concepts/moe-routing-and-expert-parallelism.md) 了解架构原理，以及[内存与卸载](/zh/concepts/memory-and-offloading.md) 了解权重超出 GPU 后的变化。

## 硬件适配

以下结论假设模型完全驻留（无 CPU 卸载）在适度上下文长度下。

| 目标 | GGUF Q2（226 GB） | GGUF Q4（506 GB） | NVFP4（\~700 GB） | BF16（\~1.5 TB） |
| - | - | - | - | - |
| Mac Studio M3/M4 Ultra（192 GB） | 装不下 | 装不下 | 装不下 | 装不下 |
| Mac Studio M3/M5 Ultra（512 GB） | 充裕 | 紧张 | 装不下 | 装不下 |
| 2× Mac Studio M5 Ultra（集群 MLX） | 充裕 | 充裕 | 装不下 | 装不下 |
| 8× RTX Pro 6000（每块 98 GB，共 784 GB） | 充裕 | 充裕 | 充裕（131K 上下文） | 装不下 |
| 8× H200（每块 141 GB，共 1,128 GB） | 充裕 | 充裕 | 充裕 | 紧张（1M 上下文） |
| 4×8× H200（TP=32） | 充裕 | 充裕 | 充裕 | 充裕 |

在 512 GB Mac Studio 上，2-bit GGUF 可以装入并有空间处理适度上下文。4-bit 版本 506 GB 在单台 512 GB 机器上几乎没有余量 — 按你实际需要的上下文来规划。关于尺寸计算方法，参见[你的 GPU 能装下多大的模型？](/zh/guides/model-fit.md)。

> **[选好了模型？连接它](/zh/quickstart.md)**
>
> 一个认证端点 `https://api.tokios.com` — 无需入站端口，约 5 分钟。

## 运行方式 — 从入门到进阶

**llama.cpp（GGUF）**

```bash macOS / Linux theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -LsSf https://llama.app/install.sh | sh
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL
```

```powershell Windows theme={"theme":{"light":"github-light","dark":"css-variables"}}
winget install llama.cpp
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL
```

服务器在 `localhost:9931` 启动一个 Web UI 和一个 OpenAI 兼容端点。将量化标签换为 `UD-IQ2_XXS`（226 GB 版本，512 GB Mac）。参见 [llama.cpp 远程访问](/zh/guides/llama-cpp-remote-access.md) 从其他机器访问。

**vLLM（NVFP4，Blackwell）**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
VLLM_PLUGINS=musespark1x_models,ptq_nvfp4 \
vllm serve "$CKPT" \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser musespark1x \
  --tool-call-parser musespark1x \
  --port 8000
```

这在 Blackwell GPU 上以专家并行方式服务 NVFP4 检查点。根据硬件调整 `--tensor-parallel-size` 和 `--max-model-len`。参见 [vLLM 远程访问](/zh/guides/vllm-remote-access.md)。

**SGLang（NVFP4，Blackwell）**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
uv run sglang_meta serve \
  --model-path "$CKPT" \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --tp-size 4 --ep-size 4 \
  --port 30000
```

SGLang 针对 Blackwell 上的 NVFP4 检查点，使用 FlashInfer TRT-LLM MoE 后端。当前语法和调优请参考 SGLang 项目文档。

**MLX（Apple Silicon）**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
pip install mlx-lm
mlx_lm.generate --model mlx-community/Muse-Spark-Open-816B-A42B-oQ3e \
  --prompt "Explain convolutional networks like I am 5" \
  --max-tokens 5000
```

3-bit `oQ3e` 版本需要约 344 GB 统一内存，约 21 tok/s（M3 Ultra）。4-bit `oQ4e` 版本质量更高但需要约 450 GB。Meta 报告了在两台 M5 Ultra Mac Studio 上通过 oMLX 集群的测试。

**Transformers（多 GPU）**

```python theme={"theme":{"light":"github-light","dark":"css-variables"}}
from transformers import AutoModelForMultimodalLM, AutoTokenizer, DistributedConfig
import os

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model = AutoModelForMultimodalLM.from_pretrained(
    "meta-models/Muse-Spark-Open-816B-A42B",
    distributed_config=distributed_config,
)
tokenizer = AutoTokenizer.from_pretrained("meta-models/Muse-Spark-Open-816B-A42B")

messages = [{"role": "user", "content": "Explain quantum physics."}]
inputs = tokenizer.apply_chat_template(
    messages,
    reasoning_effort="medium",
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(model.dtype)

outputs = model.generate(**inputs, max_new_tokens=2000)
```

需要跨多个 GPU 的分布式推理。将 `WORLD_SIZE` 设为你的 GPU 数量。BF16 检查点在所有设备上共需约 1.5 TB。

### 采样设置

Meta 推荐 `temperature = 1.0`、`top_p = 1.0`，并禁用 `top_k`。推理力度默认为 `xhigh` — 对简单任务降低到 `high` 或 `medium` 以节省令牌。无法完全关闭推理；设为 `low` 可获得最短路径。

## 能力

* **可控推理。** 在聊天模板中通过 `reasoning_effort="low"`（或 `medium`、`high`、`xhigh`）设置力度。更高的设置在回答前花费更多令牌进行推理。模型使用基于通道的模板：`to=self` 用于内部推理，`to=user` 用于最终回答。
* **完整多模态输入。** 文本、图像、视频和音频均可输入；文本输出。感知编码器处理视觉（1.8B 参数 ViT），独立的卷积金字塔处理 24 kHz 单声道音频。
* **智能体编码。** Meta 在真实开发者工作流上训练：多文件重构、调试会话、工具调用脚手架。它在 MCP-Atlas（89.2）、DeepSWE 1.1（68）、Terminal-Bench 2.1（85.0）和 Toolathlon Verified（76.5）上领先开放权重模型。
* **原生工具调用。** 聊天模板支持结构化工具调用并遵循 schema。在 vLLM 中使用 `--tool-call-parser musespark1x` 或你的运行时中的等效选项。
* **多语言。** 100+ 种语言。

### 基准测试

Meta 在 `xhigh` 推理力度下报告，模型于十月15日（2026年）发布。尚无独立复现 — 在第三方评估出现之前，请将这些视为厂商声明。

| 基准 | 得分 | 最强竞品 |
| - | - | - |
| MCP-Atlas | 89.2 | Qwen3.8（84.5） |
| DeepSWE 1.1 | 68 | GLM 5.3（67） |
| Terminal-Bench 2.1 | 85.0 | Qwen3.8（82.0） |
| SWE-Atlas-QnA | 66 | Mistral Large 4（59） |
| Toolathlon Verified | 76.5 | GLM 5.3（73.0） |
| GPQA Diamond | 93.5 | Qwen3.8（93.5） |
| HLE（w/ tools） | 62.5 | Qwen3.8（56.2） |
| HLE-Diamond（no tools） | 26.1 | Kimi K3（22.2） |
| JobBench | 61.8 | GLM 5.3（61.4） |
| OSWorld Verified | 80.4 | Kimi K3（84.8） |
| SciCode | 59.5 | GLM 5.3（59.0） |
| Artificial Analysis Intelligence Index | 39 | Beam（40） |

## 通过 Tokios 连接

专用硬件上的前沿模型，你会希望从任何地方访问它而不暴露端口。Tokios 位于你的运行时之后：它不下载模型也不替代 vLLM。

**1. 保持本地运行时运行**

在 vLLM、SGLang、llama.cpp 或 Transformers 中启动 Muse Spark Open，保持绑定到环回地址（或你的内部网络）。

**2. 配对 Tokios 连接器**

登录 [tokios.com/console](https://tokios.com/console)，打开 **Setup** 标签页，点击 **Start pairing** 获取一次性配对码（`TKS-XXXX-XXXX`）。在运行模型的机器上执行安装程序：

```powershell Windows theme={"theme":{"light":"github-light","dark":"css-variables"}}
irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'
```

```bash macOS theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX
```

```bash Linux theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX
```

然后 **approve** 该设备（在 **Setup** 或 **Connectors** 标签页）。

**3. 注册部署**

在 [Models](https://tokios.com/console/models) 标签页中，注册上游模型 ID（例如 `meta-models/Muse-Spark-Open-816B-A42B`），公共部署名称如 `muse-spark`。客户端在 `model` 字段中发送部署名称，而非本地 ID — 因此之后重新量化不会改变客户端侧的任何内容。

**4. 创建 API 密钥**

在 [Keys](https://tokios.com/console/keys) 标签页中，点击 **Create key**。立即复制 `sk-tok-…` 密钥 — 它仅显示一次。

### 从任何地方调用

```bash curl (OpenAI-compatible) theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-spark",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Audit this repository and propose a phased refactor."}
    ]
  }'
```

```bash Claude Code (Anthropic-compatible) theme={"theme":{"light":"github-light","dark":"css-variables"}}
export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model muse-spark
```

## 注意事项

* **这不是消费级 GPU 能运行的模型。** 最小可用量化（2-bit 226 GB）需要 512 GB Mac Studio 或同等硬件。推荐的 4-bit 版本需要 506 GB。下载前请先规划硬件。
* **基准测试为厂商报告。** Meta 在发布日公布。在独立评估出现之前，请勿将编码分数视为定论。
* **许可证不是 Apache 2.0。** Muse Spark Open 使用 **Muse Model License** 发布，与 [Muse Glimmer](/zh/models/muse-glimmer.md) 的 Apache 2.0 许可证不同。在基于它构建之前请自行阅读许可证。
* **尚无 Ollama 支持。** 截至发布日，Ollama 尚未发布 Muse Spark Open 标签。请直接使用 llama.cpp GGUF 构建版本、vLLM、SGLang 或 MLX。
* **1M 上下文是上限，不是目标。** 完整上下文下的 KV 缓存约为 266 GB（BF16） — 这是在模型权重之上的。按实际需求确定上下文大小。
* **多模态输入取决于你的运行时。** Tokios 将图像、视频和音频内容传递到上游端点 — 它不会添加你的运行时或量化所缺少的能力。查看[支持的后端](/zh/setup/supported-backends.md)。
* **推理无法关闭。** 最低设置为 `low`，仍会花费令牌进行内部推理。要获得最短响应，使用 `low` 并接受开销。

## 常见问题

> **Muse Spark Open 需要多少内存？**
>
> 最小可用版本是 2-bit GGUF 226 GB（Mac Studio M3/M5 Ultra，512 GB 统一内存）。推荐的 4-bit GGUF 为 506 GB。NVFP4 需要约 700 GB（单个 B200 节点）。完整 BF16 约为 1.5 TB（4 节点 8× H200 GPU）。透明计算：816B 参数 × 约 0.5 字节（4-bit）≈ 408 GB 权重，加上感知编码器、音频编码器、嵌入和开销。

> **Muse Spark Open 能在单个 GPU 上运行吗？**
>
> 不能。即使最激进的 2-bit 量化 226 GB 也超过任何单个 GPU 的内存。实际的单机路径是 512 GB Mac Studio（通过 llama.cpp 运行 GGUF Q2）或 8× GPU 工作站（GGUF Q4 或 NVFP4）。尺寸计算参见[你的 GPU 能装下多大的模型？](/zh/guides/model-fit.md)。

> **Muse Spark Open 是开源的吗？**
>
> 权重在 **Muse Model License** 下发布，不是 Apache 2.0 或 MIT。这与 [Muse Glimmer](/zh/models/muse-glimmer.md) 不同，后者使用 Apache 2.0 发布。开放权重和开源不是一回事 — 训练数据和流程未公开。在基于它构建之前请自行阅读许可证。

> **Muse Spark Open 和 Muse Glimmer 有什么区别？**
>
> Muse Glimmer 是一个密集 30B 模型，适配单个 24 GB GPU，从 Muse Spark 教师模型蒸馏而来。Muse Spark Open 是教师模型本身 — 总计 816B，42B 活跃，MoE，1M 上下文，多模态（文本/图像/视频/音频）。Glimmer 面向消费级硬件；Spark Open 面向工作站和服务器级硬件。它们共享 Muse 架构血统，但在规模、能力和硬件需求上不同。

> **我能用 Ollama 运行 Muse Spark Open 吗？**
>
> 暂时不行。截至十月15日（2026年）发布日，Ollama 尚未发布 Muse Spark Open 标签。请直接使用 llama.cpp GGUF 构建版本（`llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL`）、vLLM、SGLang 或 MLX。Ollama 支持可能会跟进 — 查看 [ollama.com/library](https://ollama.com/library) 获取更新。

> **如何控制 Muse Spark Open 的思考量？**
>
> 在聊天模板或 API 调用中将 `reasoning_effort` 设为 `low`、`medium`、`high` 或 `xhigh`（默认）。更高的设置在回答前花费更多令牌进行推理。无法完全关闭推理 — `low` 是最低值。这也通过 Tokios 传递 — 在 API 调用参数中设置。

> **Muse Spark Open 比 Kimi K3 或 GLM 5.3 更好吗？**
>
> Meta 自己的基准将其与 Kimi K3、GLM 5.3、Qwen3.8 等进行比较，在大多数智能体和编码任务上 Muse Spark Open 表现更优。但这些是发布日的厂商数据。所有这些模型都需要严肃的硬件（多 GPU 或 512 GB+ 统一内存），因此实际答案是将它们都部署起来测试你的实际工作负载 — 参见 [Kimi](/zh/models/kimi.md)、[GLM](/zh/models/glm.md) 和 [Qwen3.8](/zh/models/qwen3.8.md)。

> **我能微调 Muse Spark Open 吗？**
>
> Meta 记录了仅对注意力层进行 LoRA 微调（专家保持冻结），但需要 64 个 GPU（8 节点 × 8× H100）。训练配置使用 FSDP 和专家并行。完整微调方案和 `DistributedConfig` 设置请参见模型卡。

> **[Muse Glimmer](/zh/models/muse-glimmer.md)**
>
> 密集 30B 兄弟模型，适配单个 24 GB GPU — 相同 Muse 血统，消费级硬件。

> **[MoE 路由与专家并行](/zh/concepts/moe-routing-and-expert-parallelism.md)**
>
> 混合专家模型如何路由令牌以及如何跨 GPU 并行化。

> **[使用本地模型的编码智能体](/zh/guides/coding-agents-local-models.md)**
>
> 将 Claude Code、Cline 或 Aider 指向你自己托管的模型。

> **[你的 GPU 能装下多大？](/zh/guides/model-fit.md)**
>
> 根据你的 VRAM 或统一内存确定模型和上下文大小。

> **[Llama 4](/zh/models/llama-4.md)**
>
> Meta 的另一条开放权重产品线，以及为什么 17B 活跃参数仍需 67 GB。

> **[快速开始](/zh/quickstart.md)**
>
> 配对连接器并端到端注册你的第一个模型。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.