Muse Spark Open 816B をローカルで実行する：ハードウェア、量子化、セットアップ

​

Muse Spark Openの概要

​

バリアントとモデルID

​

GGUF（llama.cpp / Ollama互換）

​

フルプレシジョンとBlackwell

​

MLX（Apple Silicon）

​

MoEのメモリ計算

• 816Bパラメータ × 約0.5バイト（4ビット） ≈ 408 GBのウェイト
• 約506 GB（UD-Q4_K_XLとして出荷、埋め込み、知覚エンコーダー、音声エンコーダー、メタデータを含む）
• さらにKVキャッシュを加算 — トークンあたり約250 KB（BF16）、131Kコンテキストで約33 GB、フル1Mコンテキストで約266 GB

​

ハードウェア適合

​

実行方法 — 初級から上級まで

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL

winget install llama.cpp
llama serve -hf unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-Q4_K_XL

export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
VLLM_PLUGINS=musespark1x_models,ptq_nvfp4 \
vllm serve "$CKPT" \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser musespark1x \
  --tool-call-parser musespark1x \
  --port 8000

export CKPT=meta-models/Muse-Spark-Open-816B-A42B-NVFP4
uv run sglang_meta serve \
  --model-path "$CKPT" \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --tp-size 4 --ep-size 4 \
  --port 30000

pip install mlx-lm
mlx_lm.generate --model mlx-community/Muse-Spark-Open-816B-A42B-oQ3e \
  --prompt "Explain convolutional networks like I am 5" \
  --max-tokens 5000

from transformers import AutoModelForMultimodalLM, AutoTokenizer, DistributedConfig
import os

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model = AutoModelForMultimodalLM.from_pretrained(
    "meta-models/Muse-Spark-Open-816B-A42B",
    distributed_config=distributed_config,
)
tokenizer = AutoTokenizer.from_pretrained("meta-models/Muse-Spark-Open-816B-A42B")

messages = [{"role": "user", "content": "Explain quantum physics."}]
inputs = tokenizer.apply_chat_template(
    messages,
    reasoning_effort="medium",
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(model.dtype)

outputs = model.generate(**inputs, max_new_tokens=2000)

​

サンプリング設定

​

ケーパビリティ

• 制御可能な推論。 チャットテンプレートでreasoning_effort="low"（またはmedium、high、xhigh）で努力を設定する。高い設定は回答前により多くのトークンを推論に費やす。モデルはチャネルベースのテンプレートを使用する：内部推論にはto=self、最終回答にはto=user。
• フルマルチモーダル入力。 テキスト、画像、動画、音声のすべてが入力、テキストが出力される。知覚エンコーダーが視覚（1.8BパラメータViT）を処理し、別の畳み込みピラミッドが24 kHzモノの音声を処理する。
• エージェント型コーディング。 Metaは実際の開発者ワークフローで学習：マルチファイルのリファクタリング、デバッグセッション、ツール呼び出しのスキャフォールド。MCP-Atlas（89.2）、DeepSWE 1.1（68）、Terminal-Bench 2.1（85.0）、Toolathlon Verified（76.5）でオープンウェイトモデルをリード。
• ネイティブツール呼び出し。 チャットテンプレートはスキーマ準拠の構造化ツール呼び出しをサポートする。vLLMでは--tool-call-parser musespark1xまたはランタイムの同等のオプションを使用する。
• 多言語。 100+言語。

​

ベンチマーク

​

Tokiosで接続する

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

どこからでも呼び出す

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-spark",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Audit this repository and propose a phased refactor."}
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model muse-spark

​

注意事項

• コンシューマーGPU向けモデルではない。 最小の実用量子化（2ビットの226 GB）でも512 GB Mac Studioまたは同等のハードウェアが必要。推奨の4ビットビルドは506 GBを必要とする。ダウンロード前にハードウェアを計画しよう。
• ベンチマークはベンダー報告。 Metaがリリース日に公開したもの。独立評価を待ってから、コーディングスコアを確定として扱うこと。
• ライセンスはApache 2.0ではない。 Muse Spark OpenはMuse Model Licenseで提供され、Muse GlimmerのApache 2.0ライセンスとは異なる。構築前にライセンスを自身で確認すること。
• Ollamaには未対応。 リリース日現在、OllamaはMuse Spark Openタグを公開していない。llama.cpp GGUFビルド、vLLM、SGLang、またはMLXを直接使用すること。
• 1Mコンテキストは上限であり目標ではない。 フルコンテキストでのKVキャッシュは約266 GB（BF16） — これはモデルウェイトに加算される。実際に必要なコンテキストにサイズを合わせること。
• マルチモーダル入力はランタイムに依存。 Tokiosは画像、動画、音声コンテンツをアップストリームエンドポイントに透過的に渡す — ランタイムや量子化が欠く機能を追加しない。サポートバックエンドを確認。
• 推論はオフにできない。 最低設定はlowで、それでも内部推論にトークンを費やす。最短の応答にはlowを使用し、オーバーヘッドを受け入れること。

​

FAQ