在本地运行 Muse Spark Open 816B：硬件、量化和设置

Last verified: 2026-10-16

Muse Spark Open 是 Meta Superintelligence Labs 的前沿开放权重模型，于十月15日（2026年）发布。它是一个混合专家 Transformer，总参数量为 816B，每个令牌约 42B 活跃参数，拥有 1 百万令牌上下文窗口，原生支持文本、图像、视频和音频输入。Meta 在真实开发者工作流上对其进行了训练——多文件重构、长时间调试、工具调用脚手架——它在开放权重模型中领先于智能体编码和工具使用基准。自托管的关键数字是 226 GB。这是 2-bit GGUF 的下载大小，也是这个模型能在顶配 Mac Studio 上运行而非数据中心集群的原因。4-bit 版本为 506 GB，完整 BF16 约为 1.5 TB。

已经在运行此模型？在 Tokios 上注册它以便从任何客户端通过 https://api.tokios.com 访问它。

Muse Spark Open 概览

属性	Muse Spark Open 816B
Hugging Face 仓库	`meta-models/Muse-Spark-Open-816B-A42B`
许可证	Muse Model License
架构	混合专家 Transformer — 每层 256 个专家，每个令牌 8 个活跃专家
参数	总计约 816B，每个令牌约 42B 活跃
层数	62
隐藏维度	8,192
注意力	分组查询 — 128 个查询头，16 个 KV 头，头维度 64，QK-norm，学习残差门
上下文窗口	1,048,576 个令牌
词表	202,048 个令牌
模态	文本、图像、视频和音频输入 — 文本输出
语言	100+
推理	可控 — `low`、`medium`、`high`、`xhigh`（默认 `xhigh`）
工具调用	支持，原生基于通道的聊天模板（`to=self` 用于内部推理，`to=user` 用于最终回答）
感知编码器	1.8B 参数 ViT，50 层，14×14 补丁，2D RoPE，稀疏注意力
音频编码器	24 kHz 单声道原始波形，1 个令牌每 80 ms，卷积金字塔
KV 缓存	约 250 KB（BF16 每令牌），约 266 GB（完整 1M 上下文）
训练	公开数据源、互联网爬取、第三方获取、Meta 产品数据、合成数据；安全后训练

来源：Meta 的 Muse Spark Open 博客文章和模型卡。

变体与模型 ID

Unsloth 发布从 2-bit 到 4-bit 的 GGUF 构建版本。Meta 发布 BF16 和 NVFP4（Blackwell）检查点。MLX 社区提供 Apple Silicon 优化的量化版本。

GGUF（llama.cpp / Ollama 兼容）

量化	近似大小	说明
`UD-IQ1_S`	176 GB	极限压缩；质量损失显著
`UD-IQ1_M`	209 GB	精度略高
`UD-IQ2_XXS`	226 GB	可在 Mac M3 Ultra 512 GB 上以约 18 tok/s 运行
`UD-IQ2_S`	275 GB
`UD-Q2_K_XL`	311 GB
`UD-IQ3_XXS`	340 GB
`UD-Q3_K_XL`	401 GB
`UD-Q4_K_XL`	506 GB	推荐 — 最佳质量/大小平衡

GGUF 来源：unsloth/Muse-Spark-Open-816B-A42B-GGUF。

全精度与 Blackwell

检查点	大小	硬件目标
BF16 (`meta-models/Muse-Spark-Open-816B-A42B`)	~1.5 TB	4 节点 × 8× H200（TP=32）
NVFP4 (`meta-models/Muse-Spark-Open-816B-A42B-NVFP4`)	~700 GB	单个 B200/GB300 节点

MLX（Apple Silicon）

量化	近似内存	说明
`oQ3e`（3-bit）	~344 GB	约 21 tok/s 生成速度（M3 Ultra）
`oQ4e`（4-bit）	~450 GB

MLX 来源：mlx-community/Muse-Spark-Open-816B-A42B-oQ3e 和 -oQ4e。

MoE 内存计算

MoE 有一个内存陷阱：路由每个令牌只激活一部分参数，但所有专家权重都必须驻留在内存中。Muse Spark Open 每个令牌激活 42B（共 816B），但你需要加载的是完整的权重占用。计算如下：

816B 参数 × 约 0.5 字节（4-bit）≈ 408 GB 权重
约 506 GB（UD-Q4_K_XL 发布版本），包含嵌入、感知编码器、音频编码器和元数据
再加上 KV 缓存 — 每令牌约 250 KB（BF16），131K 上下文增加约 33 GB；完整 1M 上下文约 266 GB

总参数的内存开销无法规避。实际路径是激进量化（2-bit 226 GB 用于 Mac Studio，4-bit 506 GB 用于多 GPU 服务器）或 Blackwell 上的 NVFP4。参见 MoE 路由与专家并行了解架构原理，以及内存与卸载了解权重超出 GPU 后的变化。

硬件适配

以下结论假设模型完全驻留（无 CPU 卸载）在适度上下文长度下。

目标	GGUF Q2（226 GB）	GGUF Q4（506 GB）	NVFP4（~700 GB）	BF16（~1.5 TB）
Mac Studio M3/M4 Ultra（192 GB）	装不下	装不下	装不下	装不下
Mac Studio M3/M5 Ultra（512 GB）	充裕	紧张	装不下	装不下
2× Mac Studio M5 Ultra（集群 MLX）	充裕	充裕	装不下	装不下
8× RTX Pro 6000（每块 98 GB，共 784 GB）	充裕	充裕	充裕（131K 上下文）	装不下
8× H200（每块 141 GB，共 1,128 GB）	充裕	充裕	充裕	紧张（1M 上下文）
4×8× H200（TP=32）	充裕	充裕	充裕	充裕

在 512 GB Mac Studio 上，2-bit GGUF 可以装入并有空间处理适度上下文。4-bit 版本 506 GB 在单台 512 GB 机器上几乎没有余量 — 按你实际需要的上下文来规划。关于尺寸计算方法，参见你的 GPU 能装下多大的模型？。

选好了模型？连接它

一个认证端点 https://api.tokios.com — 无需入站端口，约 5 分钟。

运行方式 — 从入门到进阶

llama.cpp（GGUF）
vLLM（NVFP4，Blackwell）
SGLang（NVFP4，Blackwell）
MLX（Apple Silicon）
Transformers（多 GPU）

macOS / Linux

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL

Windows

winget install llama.cpp
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL

服务器在 localhost:9931 启动一个 Web UI 和一个 OpenAI 兼容端点。将量化标签换为 UD-IQ2_XXS（226 GB 版本，512 GB Mac）。参见 llama.cpp 远程访问从其他机器访问。

export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
VLLM_PLUGINS=musespark1x_models,ptq_nvfp4 \
vllm serve "$CKPT" \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser musespark1x \
  --tool-call-parser musespark1x \
  --port 8000

这在 Blackwell GPU 上以专家并行方式服务 NVFP4 检查点。根据硬件调整 --tensor-parallel-size 和 --max-model-len。参见 vLLM 远程访问。

export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
uv run sglang_meta serve \
  --model-path "$CKPT" \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --tp-size 4 --ep-size 4 \
  --port 30000

SGLang 针对 Blackwell 上的 NVFP4 检查点，使用 FlashInfer TRT-LLM MoE 后端。当前语法和调优请参考 SGLang 项目文档。

pip install mlx-lm
mlx_lm.generate --model mlx-community/Muse-Spark-Open-816B-A42B-oQ3e \
  --prompt "Explain convolutional networks like I am 5" \
  --max-tokens 5000

3-bit oQ3e 版本需要约 344 GB 统一内存，约 21 tok/s（M3 Ultra）。4-bit oQ4e 版本质量更高但需要约 450 GB。Meta 报告了在两台 M5 Ultra Mac Studio 上通过 oMLX 集群的测试。

from transformers import AutoModelForMultimodalLM, AutoTokenizer, DistributedConfig
import os

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model = AutoModelForMultimodalLM.from_pretrained(
    "meta-models/Muse-Spark-Open-816B-A42B",
    distributed_config=distributed_config,
)
tokenizer = AutoTokenizer.from_pretrained("meta-models/Muse-Spark-Open-816B-A42B")

messages = [{"role": "user", "content": "Explain quantum physics."}]
inputs = tokenizer.apply_chat_template(
    messages,
    reasoning_effort="medium",
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(model.dtype)

outputs = model.generate(**inputs, max_new_tokens=2000)

需要跨多个 GPU 的分布式推理。将 WORLD_SIZE 设为你的 GPU 数量。BF16 检查点在所有设备上共需约 1.5 TB。

采样设置

Meta 推荐 temperature = 1.0、top_p = 1.0，并禁用 top_k。推理力度默认为 xhigh — 对简单任务降低到 high 或 medium 以节省令牌。无法完全关闭推理；设为 low 可获得最短路径。

能力

可控推理。 在聊天模板中通过 reasoning_effort="low"（或 medium、high、xhigh）设置力度。更高的设置在回答前花费更多令牌进行推理。模型使用基于通道的模板：to=self 用于内部推理，to=user 用于最终回答。
完整多模态输入。 文本、图像、视频和音频均可输入；文本输出。感知编码器处理视觉（1.8B 参数 ViT），独立的卷积金字塔处理 24 kHz 单声道音频。
智能体编码。 Meta 在真实开发者工作流上训练：多文件重构、调试会话、工具调用脚手架。它在 MCP-Atlas（89.2）、DeepSWE 1.1（68）、Terminal-Bench 2.1（85.0）和 Toolathlon Verified（76.5）上领先开放权重模型。
原生工具调用。 聊天模板支持结构化工具调用并遵循 schema。在 vLLM 中使用 --tool-call-parser musespark1x 或你的运行时中的等效选项。
多语言。 100+ 种语言。

基准测试

Meta 在 xhigh 推理力度下报告，模型于十月15日（2026年）发布。尚无独立复现 — 在第三方评估出现之前，请将这些视为厂商声明。

基准	得分	最强竞品
MCP-Atlas	89.2	Qwen3.8（84.5）
DeepSWE 1.1	68	GLM 5.3（67）
Terminal-Bench 2.1	85.0	Qwen3.8（82.0）
SWE-Atlas-QnA	66	Mistral Large 4（59）
Toolathlon Verified	76.5	GLM 5.3（73.0）
GPQA Diamond	93.5	Qwen3.8（93.5）
HLE（w/ tools）	62.5	Qwen3.8（56.2）
HLE-Diamond（no tools）	26.1	Kimi K3（22.2）
JobBench	61.8	GLM 5.3（61.4）
OSWorld Verified	80.4	Kimi K3（84.8）
SciCode	59.5	GLM 5.3（59.0）
Artificial Analysis Intelligence Index	39	Beam（40）

通过 Tokios 连接

专用硬件上的前沿模型，你会希望从任何地方访问它而不暴露端口。Tokios 位于你的运行时之后：它不下载模型也不替代 vLLM。

保持本地运行时运行

在 vLLM、SGLang、llama.cpp 或 Transformers 中启动 Muse Spark Open，保持绑定到环回地址（或你的内部网络）。

配对 Tokios 连接器

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

然后 approve 该设备（在 Setup 或 Connectors 标签页）。

注册部署

在 Models 标签页中，注册上游模型 ID（例如 meta-models/Muse-Spark-Open-816B-A42B），公共部署名称如 muse-spark。客户端在 model 字段中发送部署名称，而非本地 ID — 因此之后重新量化不会改变客户端侧的任何内容。

创建 API 密钥

在 Keys 标签页中，点击 Create key。立即复制 sk-tok-… 密钥 — 它仅显示一次。

从任何地方调用

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-spark",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Audit this repository and propose a phased refactor."}
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model muse-spark

注意事项

这不是消费级 GPU 能运行的模型。 最小可用量化（2-bit 226 GB）需要 512 GB Mac Studio 或同等硬件。推荐的 4-bit 版本需要 506 GB。下载前请先规划硬件。
基准测试为厂商报告。 Meta 在发布日公布。在独立评估出现之前，请勿将编码分数视为定论。
许可证不是 Apache 2.0。 Muse Spark Open 使用 Muse Model License 发布，与 Muse Glimmer 的 Apache 2.0 许可证不同。在基于它构建之前请自行阅读许可证。
尚无 Ollama 支持。 截至发布日，Ollama 尚未发布 Muse Spark Open 标签。请直接使用 llama.cpp GGUF 构建版本、vLLM、SGLang 或 MLX。
1M 上下文是上限，不是目标。 完整上下文下的 KV 缓存约为 266 GB（BF16） — 这是在模型权重之上的。按实际需求确定上下文大小。
多模态输入取决于你的运行时。 Tokios 将图像、视频和音频内容传递到上游端点 — 它不会添加你的运行时或量化所缺少的能力。查看支持的后端。
推理无法关闭。 最低设置为 low，仍会花费令牌进行内部推理。要获得最短响应，使用 low 并接受开销。

常见问题

Muse Spark Open 需要多少内存？

最小可用版本是 2-bit GGUF 226 GB（Mac Studio M3/M5 Ultra，512 GB 统一内存）。推荐的 4-bit GGUF 为 506 GB。NVFP4 需要约 700 GB（单个 B200 节点）。完整 BF16 约为 1.5 TB（4 节点 8× H200 GPU）。透明计算：816B 参数 × 约 0.5 字节（4-bit）≈ 408 GB 权重，加上感知编码器、音频编码器、嵌入和开销。

Muse Spark Open 能在单个 GPU 上运行吗？

不能。即使最激进的 2-bit 量化 226 GB 也超过任何单个 GPU 的内存。实际的单机路径是 512 GB Mac Studio（通过 llama.cpp 运行 GGUF Q2）或 8× GPU 工作站（GGUF Q4 或 NVFP4）。尺寸计算参见你的 GPU 能装下多大的模型？。

Muse Spark Open 是开源的吗？

权重在 Muse Model License 下发布，不是 Apache 2.0 或 MIT。这与 Muse Glimmer 不同，后者使用 Apache 2.0 发布。开放权重和开源不是一回事 — 训练数据和流程未公开。在基于它构建之前请自行阅读许可证。

Muse Spark Open 和 Muse Glimmer 有什么区别？

Muse Glimmer 是一个密集 30B 模型，适配单个 24 GB GPU，从 Muse Spark 教师模型蒸馏而来。Muse Spark Open 是教师模型本身 — 总计 816B，42B 活跃，MoE，1M 上下文，多模态（文本/图像/视频/音频）。Glimmer 面向消费级硬件；Spark Open 面向工作站和服务器级硬件。它们共享 Muse 架构血统，但在规模、能力和硬件需求上不同。

我能用 Ollama 运行 Muse Spark Open 吗？

暂时不行。截至十月15日（2026年）发布日，Ollama 尚未发布 Muse Spark Open 标签。请直接使用 llama.cpp GGUF 构建版本（llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL）、vLLM、SGLang 或 MLX。Ollama 支持可能会跟进 — 查看 ollama.com/library 获取更新。

如何控制 Muse Spark Open 的思考量？

在聊天模板或 API 调用中将 reasoning_effort 设为 low、medium、high 或 xhigh（默认）。更高的设置在回答前花费更多令牌进行推理。无法完全关闭推理 — low 是最低值。这也通过 Tokios 传递 — 在 API 调用参数中设置。

Muse Spark Open 比 Kimi K3 或 GLM 5.3 更好吗？

Meta 自己的基准将其与 Kimi K3、GLM 5.3、Qwen3.8 等进行比较，在大多数智能体和编码任务上 Muse Spark Open 表现更优。但这些是发布日的厂商数据。所有这些模型都需要严肃的硬件（多 GPU 或 512 GB+ 统一内存），因此实际答案是将它们都部署起来测试你的实际工作负载 — 参见 Kimi、GLM 和 Qwen3.8。

我能微调 Muse Spark Open 吗？

Meta 记录了仅对注意力层进行 LoRA 微调（专家保持冻结），但需要 64 个 GPU（8 节点 × 8× H100）。训练配置使用 FSDP 和专家并行。完整微调方案和 DistributedConfig 设置请参见模型卡。

Muse Glimmer

密集 30B 兄弟模型，适配单个 24 GB GPU — 相同 Muse 血统，消费级硬件。

MoE 路由与专家并行

混合专家模型如何路由令牌以及如何跨 GPU 并行化。

使用本地模型的编码智能体

将 Claude Code、Cline 或 Aider 指向你自己托管的模型。

你的 GPU 能装下多大？

根据你的 VRAM 或统一内存确定模型和上下文大小。

Llama 4

Meta 的另一条开放权重产品线，以及为什么 17B 活跃参数仍需 67 GB。

快速开始

配对连接器并端到端注册你的第一个模型。

​Muse Spark Open 概览

​变体与模型 ID

​GGUF（llama.cpp / Ollama 兼容）

​全精度与 Blackwell

​MLX（Apple Silicon）

​MoE 内存计算

​硬件适配

选好了模型？连接它

​运行方式 — 从入门到进阶

​采样设置

​能力

​基准测试

​通过 Tokios 连接

​从任何地方调用

​注意事项

​常见问题

Muse Glimmer

MoE 路由与专家并行

使用本地模型的编码智能体

你的 GPU 能装下多大？

Llama 4

快速开始

Muse Spark Open 概览

变体与模型 ID

GGUF（llama.cpp / Ollama 兼容）

全精度与 Blackwell

MLX（Apple Silicon）

MoE 内存计算

硬件适配

运行方式 — 从入门到进阶

采样设置

能力

基准测试

通过 Tokios 连接

从任何地方调用

注意事项

常见问题