Muse Spark Open 816B lokal ausführen: Hardware, Quantisierung und Setup

​

Muse Spark Open auf einen Blick

​

Varianten und Modell-IDs

​

GGUF (llama.cpp / Ollama-kompatibel)

​

Vollständige Präzision und Blackwell

​

MLX (Apple Silicon)

​

MoE-Speicherberechnung

• 816B Parameter × ~0.5 Bytes bei 4-Bit ≈ 408 GB an Gewichten
• ~506 GB wie in UD-Q4_K_XL ausgeliefert, sobald Embeddings, der Wahrnehmungsencoder, der Audio-Encoder und Metadaten einberechnet sind
• Dazu kommt der KV-Cache — bei ~250 KB pro Token in BF16 fügt ein 131K-Kontext ~33 GB hinzu; der vollständige 1M-Kontext fügt ~266 GB hinzu

​

Hardware-Eignung

​

Ausführen — Anfänger bis Fortgeschrittene

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL

winget install llama.cpp
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL

export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
VLLM_PLUGINS=musespark1x_models,ptq_nvfp4 \
vllm serve "$CKPT" \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser musespark1x \
  --tool-call-parser musespark1x \
  --port 8000

export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
uv run sglang_meta serve \
  --model-path "$CKPT" \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --tp-size 4 --ep-size 4 \
  --port 30000

pip install mlx-lm
mlx_lm.generate --model mlx-community/Muse-Spark-Open-816B-A42B-oQ3e \
  --prompt "Explain convolutional networks like I am 5" \
  --max-tokens 5000

from transformers import AutoModelForMultimodalLM, AutoTokenizer, DistributedConfig
import os

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model = AutoModelForMultimodalLM.from_pretrained(
    "meta-models/Muse-Spark-Open-816B-A42B",
    distributed_config=distributed_config,
)
tokenizer = AutoTokenizer.from_pretrained("meta-models/Muse-Spark-Open-816B-A42B")

messages = [{"role": "user", "content": "Explain quantum physics."}]
inputs = tokenizer.apply_chat_template(
    messages,
    reasoning_effort="medium",
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(model.dtype)

outputs = model.generate(**inputs, max_new_tokens=2000)

​

Sampling-Einstellungen

​

Fähigkeiten

• Kontrollierbares Reasoning. Setzen Sie die Bemühung im Chat-Template mit reasoning_effort="low" (oder medium, high, xhigh). Höhere Einstellungen verbrauchen mehr Token für Reasoning vor der Antwort. Das Modell verwendet ein kanalbasiertes Template: to=self für internes Reasoning, to=user für die finale Antwort.
• Vollständige multimodale Eingabe. Text, Bilder, Video und Audio gehen hinein; Text kommt heraus. Der Wahrnehmungsencoder verarbeitet Vision (1.8B-Parameter-ViT), und eine separate konvolutionale Pyramide verarbeitet Audio mit 24 kHz Mono.
• Agenten-Coding. Meta hat auf echten Entwickler-Workflows trainiert: Multi-Datei-Refactorings, Debugging-Sitzungen, Tool-Calling-Gerüste. Es führt Open-Weight-Modelle bei MCP-Atlas (89.2), DeepSWE 1.1 (68), Terminal-Bench 2.1 (85.0) und Toolathlon Verified (76.5) an.
• Native Tool-Aufrufe. Das Chat-Template unterstützt strukturierte Tool-Aufrufe mit Schema-Einhaltung. Verwenden Sie --tool-call-parser musespark1x in vLLM oder das Äquivalent in Ihrer Laufzeitumgebung.
• Mehrsprachig. 100+ Sprachen.

​

Benchmarks

​

Verbinden Sie es mit Tokios

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

Von überall aus aufrufen

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-spark",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Audit this repository and propose a phased refactor."}
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model muse-spark

​

Einschränkungen

• Dies ist kein Consumer-GPU-Modell. Die kleinste brauchbare Quantisierung (2-Bit bei 226 GB) erfordert einen 512-GB-Mac Studio oder gleichwertige Hardware. Der empfohlene 4-Bit-Build braucht 506 GB. Planen Sie Ihre Hardware vor dem Download.
• Benchmarks sind vom Hersteller berichtet. Meta hat sie am Veröffentlichungstag publiziert. Warten Sie auf unabhängige Auswertungen, bevor Sie die Coding-Ergebnisse als abgeschlossen betrachten.
• Die Lizenz ist nicht Apache 2.0. Muse Spark Open wird unter der Muse Model License veröffentlicht, die sich von der Apache 2.0-Lizenz von Muse Glimmer unterscheidet. Lesen Sie die Lizenz selbst, bevor Sie darauf aufbauen.
• Noch keine Ollama-Unterstützung. Zum Veröffentlichungstag hat Ollama keinen Muse Spark Open-Tag veröffentlicht. Verwenden Sie direkt llama.cpp-GGUF-Builds, vLLM, SGLang oder MLX.
• 1M Kontext ist eine Obergrenze, kein Ziel. Der KV-Cache bei vollem Kontext ist ~266 GB in BF16 — das kommt zu den Modellgewichten hinzu. Dimensionieren Sie Ihren Kontext auf das, was Sie tatsächlich brauchen.
• Multimodale Eingabe hängt von Ihrer Laufzeitumgebung ab. Tokios leitet Bild-, Video- und Audioinhalte an den Upstream-Endpunkt weiter — es fügt keine Fähigkeiten hinzu, die Ihrer Laufzeitumgebung oder Quantisierung fehlen. Prüfen Sie unterstützte Backends.
• Reasoning kann nicht ausgeschaltet werden. Die niedrigste Einstellung ist low, die immer noch Token für internes Reasoning verbraucht. Für die kürzestmöglichen Antworten verwenden Sie low und akzeptieren Sie den Overhead.

​

FAQ