MiMo V2.6 をローカルで実行する — Xiaomi のマルチモーダルエージェントモデル

​

The MiMo V2.6 lineup

​

Which MiMo should you run?

• Single 24 GB GPU（RTX 3090、4090、または同等） — Distillを実行する。Qwenアーキテクチャから蒸留された9Bのデンスモデルであり、オフローディングなしでコンシューマーハードウェアに収まる唯一のMiMoバリアントだ。実験、学習、軽めのエージェント作業はここから始めよう。
• High-memory system（192 GB+の統合メモリ、または2つ以上のデータセンターGPU） — Flashを実行する。309B合計でトークンあたり15Bアクティブ。Proのハードウェア要件なしでマルチモーダル入力とロングコンテキストが必要な本番エージェントループのコスト効率の良い選択だ。
• Multi-GPU server（4× H100クラスまたは同等） — Proを実行する。1.02Tのフラッグシップは、難易度の高いコーディング、サイバーセキュリティ分析、長期にわたるマルチツールオーケストレーションのために構築されている。

• Pro: 1.02T × ~0.5 bytes at 4-bit ≈ ~510 GB of weights, ~520 GB+ with overhead
• Flash: 309B × ~0.5 bytes at 4-bit ≈ ~155 GB of weights, ~160 GB+ with overhead
• Distill: 9B × ~0.5 bytes at 4-bit ≈ ~4.5 GB of weights, ~6 GB as shipped

​

Run it locally

vllm serve XiaomiMiMo/MiMo-V2.6-Pro-RL \
  --tensor-parallel-size 8 \
  --trust-remote-code

vllm serve XiaomiMiMo/MiMo-V2.6-Flash-MOPD \
  --tensor-parallel-size 4 \
  --trust-remote-code

sglang serve XiaomiMiMo/MiMo-V2.6-Pro-RL \
  --tp 8 \
  --trust-remote-code

sglang serve XiaomiMiMo/MiMo-V2.6-Flash-MOPD \
  --tp 4 \
  --trust-remote-code

llama serve -hf XiaomiMiMo/MiMo-V2.6-Distill-9B

​

Variants & specs

​

Capabilities

• Native multimodal input. テキスト、画像、動画、音声が入力され、テキストが出力される。後付けのビジョンモジュールではなく、3つのバリアントすべてのベースアーキテクチャの一部だ。
• 128K output tokens. 切り捨てなしの拡張推論、リポジトリ規模のコード生成、詳細な分析に十分な長さ。
• 1M context window. リポジトリ規模のコーディングセッション、長文書、または数時間の音声に十分な大きさ。ロングコンテキストのデプロイメントをサイジングする際は、ウェイトに加えてKV-cache memoryを見込むこと。
• Tool calling and agentic workflows. すべてのバリアントがツール使用とマルチステップエージェントループをサポートする。vLLMまたはSGLangでサービングする際は、モデルカードが推奨するツールコールパーサーを有効にして、toolsリクエストがエンドポイント経由で動作するようにしよう。
• MIT license. 3つのバリアントすべてに適用される許容的なライセンス — 許容的使用ポリシーなし、ユーザー数閾値なし。

​

Benchmarks

​

Hardware fit

​

Connect it with Tokios

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

Call it from anywhere

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mimo-flash",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Analyze this codebase and propose a refactoring plan."}
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mimo-flash

​

Caveats

• Pro and Flash are MoE models. 1.02T（Pro）または309B（Flash）の全パラメータがメモリに収まる必要がある。トークンあたり42Bまたは15Bのみがアクティブであってもだ — 推論の仕組みを参照。
• 1M context is a ceiling, not a target. ロングコンテキストはモデルウェイトに加えてKV cacheメモリを追加する。共有ハードウェアでは、そのヘッドルームはモデルが推論にも使用する領域だ。
• Benchmarks are vendor-reported. Xiaomiがリリース日に公開した。スコアを確定として扱う前に独立評価を待つこと。
• Flash is the practical choice for most production setups. Proには約520 GB+の合計VRAMが必要だ — 本格的なマルチGPUサーバー。Flashの約160 GBは高メモリワークステーションまたは小型サーバーに収まり、ほとんどのエージェントループワークロードをカバーする。
• The Distill is a distillation, not the full architecture. MoEスケールと単一GPU適合性をトレードオフした。最も難しいタスクではProやFlashより劣ることを想定してほしい。ただしコンシューマーハードウェアで動作する唯一のバリアントだ。
• Multimodal input depends on your runtime. Tokiosは画像、動画、音声コンテンツをアップストリームエンドポイントにそのままパスする — ランタイムや量子化が欠いている機能を追加することはない。supported backendsを確認。

​

FAQ