MiMo V2.6 로컬 실행 — Xiaomi의 멀티모달 에이전트 모델

​

MiMo V2.6 라인업

​

어떤 MiMo를 실행해야 할까요?

• 단일 24 GB GPU(RTX 3090, 4090 또는 유사) — Distill을 실행하세요. Qwen 아키텍처에서 증류된 9B 밀집 모델이며, 오프로딩 없이 소비자용 하드웨어에 맞는 유일한 MiMo 변형입니다. 실험, 학습 및 경량 에이전트 작업을 위해 여기서 시작하세요.
• 고메모리 시스템(192 GB+ 통합 메모리 또는 2개 이상의 데이터센터 GPU) — Flash를 실행하세요. 토큰당 309B 총합에 15B 활성으로, 멀티모달 입력과 긴 컨텍스트가 필요하지만 Pro의 하드웨어 최소값이 필요한 프로덕션 에이전트 루프에 비용 효율적인 선택입니다.
• 다중 GPU 서버(4× H100급 또는 동급) — Pro를 실행하세요. 1.02T 플래그십은 가장 어려운 작업에 맞게 구축되었습니다: 어려운 코딩, 사이버 보안 분석, 장기적 다중 도구 오케스트레이션.

• Pro: 1.02T × ~0.5 바이트 at 4-bit ≈ ~510 GB의 가중치, 오버헤드 포함 ~520 GB+
• Flash: 309B × ~0.5 바이트 at 4-bit ≈ ~155 GB의 가중치, 오버헤드 포함 ~160 GB+
• Distill: 9B × ~0.5 바이트 at 4-bit ≈ ~4.5 GB의 가중치, 제공 시 ~6 GB

​

로컬에서 실행하기

vllm serve XiaomiMiMo/MiMo-V2.6-Pro-RL \
  --tensor-parallel-size 8 \
  --trust-remote-code

vllm serve XiaomiMiMo/MiMo-V2.6-Flash-MOPD \
  --tensor-parallel-size 4 \
  --trust-remote-code

sglang serve XiaomiMiMo/MiMo-V2.6-Pro-RL \
  --tp 8 \
  --trust-remote-code

sglang serve XiaomiMiMo/MiMo-V2.6-Flash-MOPD \
  --tp 4 \
  --trust-remote-code

llama serve -hf XiaomiMiMo/MiMo-V2.6-Distill-9B

​

변형 및 사양

​

기능

• 네이티브 멀티모달 입력. 텍스트, 이미지, 비디오, 오디오가 입력되고 텍스트가 출력됩니다. 이는 탈착형 비전 모듈이 아니라 — 3가지 변형 전체의 기본 아키텍처 일부입니다.
• 128K 출력 토큰. 확장된 추론, 저장소 규모의 코드 생성 및 상세한 분석을 잘림 없이 수행하기에 충분합니다.
• 1M 컨텍스트 윈도우. 저장소 규모의 코딩 세션, 긴 문서 또는 수 시간의 오디오에 충분합니다. 긴 컨텍스트 배포의 크기를 조정할 때 가중치 위에 KV-캐시 메모리를 예산에 잡으세요.
• 도구 호출 및 에이전트 워크플로우. 모든 변형이 도구 사용 및 다단계 에이전트 루프를 지원합니다. vLLM 또는 SGLang으로 서빙할 때, 모델 카드가 권장하는 도구 호출 파서를 활성화하여 tools 요청이 엔드포인트를 통해 작동하도록 하세요.
• MIT 라이선스. 3가지 변형 모두 허용적 — 허용 가능한 사용 정책 없음, 사용자 수 임계값 없음.

​

벤치마크

​

하드웨어 적합성

​

Tokios로 연결하기

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

​

어디서든 호출하기

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mimo-flash",
    "stream": true,
    "messages": [
      {"role": "user", "content": "Analyze this codebase and propose a refactoring plan."}
    ]
  }'

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model mimo-flash

​

주의사항

• Pro와 Flash는 MoE 모델입니다. 1.02T(Pro) 또는 309B(Flash)의 모든 파라미터가 메모리에 맞아야 하며, 토큰당 42B 또는 15B만 활성입니다 — 추론 작동 방식을 참조하세요.
• 1M 컨텍스트는 상한이지 목표가 아닙니다. 긴 컨텍스트는 모델 가중치 위에 KV-캐시 메모리를 추가합니다. 공유 하드웨어에서 그 여유 공간은 모델이 추론에도 사용하는 메모리입니다.
• 벤치마크는 벤더 보고입니다. Xiaomi가 출시일에 게시했습니다. 점수를 확정된 것으로 간주하기 전에 독립 평가를 기다리세요.
• Flash는 대부분의 프로덕션 설정에 실용적인 선택입니다. Pro는 ~520 GB+의 총 VRAM이 필요합니다 — 심각한 다중 GPU 서버. ~160 GB의 Flash는 고메모리 워크스테이션 또는 더 작은 서버에 맞으며, 대부분의 에이전트 루프 워크로드를 커버합니다.
• Distill은 증류 모델이며 전체 아키텍처가 아닙니다. MoE 규모를 단일 GPU 적합성과 교환했습니다. 가장 어려운 작업에서 Pro와 Flash보다 약할 것으로 예상되지만, 소비자용 하드웨어에서 실행되는 유일한 변형입니다.
• 멀티모달 입력은 런타임에 따라 다릅니다. Tokios는 이미지, 비디오, 오디오 콘텐츠를 업스트림 엔드포인트로 전달합니다 — 런타임이나 양자화에 부족한 기능을 추가하지 않습니다. 지원되는 백엔드를 확인하세요.

​

FAQ