Exécutez Muse Spark Open 816B en local : matériel, quantification et configuration

​

Muse Spark Open en un coup d’œil

​

Variantes et identifiants de modèle

​

GGUF (compatible llama.cpp / Ollama)

​

Pleine précision et Blackwell

​

MLX (Apple Silicon)

​

Calcul mémoire MoE

• 816B paramètres × ~0.5 octets en 4 bits ≈ 408 GB de poids
• ~506 GB tel que livré en UD-Q4_K_XL, une fois les embeddings, l’encodeur de perception, l’encodeur audio et les métadonnées inclus
• Ajoutez le cache KV en plus — à ~250 KB par token en BF16, un contexte de 131K ajoute ~33 GB ; le contexte 1M complet ajoute ~266 GB

​

Adéquation matérielle

​

Exécutez-le — du débutant à l’avancé

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL

winget install llama.cpp
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL

export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
VLLM_PLUGINS=musespark1x_models,ptq_nvfp4 \
vllm serve "$CKPT" \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser musespark1x \
  --tool-call-parser musespark1x \
  --port 8000

export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
uv run sglang_meta serve \
  --model-path "$CKPT" \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --tp-size 4 --ep-size 4 \
  --port 30000

pip install mlx-lm
mlx_lm.generate --model mlx-community/Muse-Spark-Open-816B-A42B-oQ3e \
  --prompt "Explain convolutional networks like I am 5" \
  --max-tokens 5000

from transformers import AutoModelForMultimodalLM, AutoTokenizer, DistributedConfig
import os

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model = AutoModelForMultimodalLM.from_pretrained(
    "meta-models/Muse-Spark-Open-816B-A42B",
    distributed_config=distributed_config,
)
tokenizer = AutoTokenizer.from_pretrained("meta-models/Muse-Spark-Open-816B-A42B")

messages = [{"role": "user", "content": "Explain quantum physics."}]
inputs = tokenizer.apply_chat_template(
    messages,
    reasoning_effort="medium",
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(model.dtype)

outputs = model.generate(**inputs, max_new_tokens=2000)

​

Paramètres d’échantillonnage

​

Capacités

• Raisonnement contrôlable. Définissez l’effort dans le chat template avec reasoning_effort="low" (ou medium, high, xhigh). Les paramètres plus élevés dépensent plus de tokens à raisonner avant de répondre. Le modèle utilise un template basé sur des canaux : to=self pour le raisonnement interne, to=user pour la réponse finale.
• Entrée multimodale complète. Le texte, les images, la vidéo et l’audio entrent ; le texte sort. L’encodeur de perception gère la vision (ViT de 1.8B paramètres), et une pyramide convolutionnelle séparée gère l’audio à 24 kHz mono.
• Programmation agentique. Meta a entraîné sur des workflows réels de développeurs : refactorisations multi-fichiers, sessions de débogage, scaffolds d’appels d’outils. Il domine les modèles à poids ouverts sur MCP-Atlas (89.2), DeepSWE 1.1 (68), Terminal-Bench 2.1 (85.0), et Toolathlon Verified (76.5).
• Appel d’outils natif. Le chat template prend en charge les appels d’outils structurés avec adherence au schéma. Utilisez --tool-call-parser musespark1x dans vLLM ou l’équivalent dans votre environnement d’exécution.
• Multilingue. 100+ langues.

​

Benchmarks

​

Connectez-le avec Tokios

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

Appelez-le de n’importe où

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-spark",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Audit this repository and propose a phased refactor."}
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model muse-spark

​

Mises en garde

• Ce n’est pas un modèle pour GPU grand public. La plus petite quantification utilisable (2 bits à 226 GB) nécessite un Mac Studio de 512 GB ou équivalent. La version 4 bits recommandée nécessite 506 GB. Planifiez votre matériel avant de télécharger.
• Les benchmarks sont rapportés par le fabricant. Meta les a publiés le jour de la sortie. Attendez les évaluations indépendantes avant de considérer les scores de programmation comme définitifs.
• La licence n’est pas Apache 2.0. Muse Spark Open est distribué sous la Muse Model License, qui diffère de la licence Apache 2.0 de Muse Glimmer. Lisez la licence vous-même avant de construire dessus.
• Pas encore de support Ollama. À la date de sortie, Ollama n’a pas publié d’étiquette Muse Spark Open. Utilisez les versions GGUF llama.cpp directement, vLLM, SGLang ou MLX.
• Le contexte 1M est un plafond, pas une cible. Le cache KV au contexte complet est de ~266 GB en BF16 — c’est en plus des poids du modèle. Dimensionnez votre contexte selon ce dont vous avez réellement besoin.
• L’entrée multimodale dépend de votre environnement d’exécution. Tokios transmet le contenu d’images, de vidéo et d’audio au point de terminaison amont — il n’ajoute pas de capacités que votre environnement d’exécution ou votre quantification ne possède pas. Consultez les backends pris en charge.
• Le raisonnement ne peut pas être désactivé. Le réglage le plus bas est low, qui dépense quand même des tokens pour le raisonnement interne. Pour les réponses les plus courtes possibles, utilisez low et acceptez la surcharge.

​

FAQ