Mac Studio M5 Ultra 选购指南：本地 LLM 推理 256GB 与 512GB 对比

​

Mac Studio M5 Ultra 配置

​

256GB 与 512GB 能运行什么？

​

256 GB 配置

• Qwen3.5-122B-A10B Q8（~122 GB，~55 tok/s）
• Qwen3 235B Q4（~130 GB，~41 tok/s）
• GLM-4.5-Air（106B MoE）Q8（~106 GB，~60 tok/s）
• DeepSeek V4-Flash-0731（284B）原生精度（~155 GB，~25 tok/s）

• DeepSeek V4.1 Flash（763B 总参数）——最小可用量化约 246 GiB（Q2_K），无 KV 余量
• GLM-5.2（753B）——需要约 377 GB（Q4），超出 256 GB
• Qwen3.5-397B Q4（~224 GB）——勉强能装下，上下文空间极小

​

512 GB 配置

• DeepSeek V4.1 Flash（763B）Q2_K（~246 GiB，~10-20 tok/s）
• DeepSeek V4.1 Flash Q4（~402 GiB，~10-15 tok/s）
• GLM-5.2（753B）Q4（~418 GB，~26 tok/s）
• Qwen3.5-397B Q4（~224 GB，~35 tok/s）
• Qwen3.5-397B Q8（~448 GB，~25 tok/s）
• 同时运行多个 120B 模型

• GLM-5.2 FP8（~753 GB）——超出 512 GB
• Kimi K3（2.8T 参数）——需要约 1.4 TB（Q4），远超 512 GB

​

Apple MLX 分布式推理

​

当前可实现的能力

• 运行 Muse Spark Open（816B 参数）36.7 tok/s
• 可运行 DeepSeek V4.1 Flash FP8（~511 GB，~40 tok/s）
• 可运行 GLM-5.2 FP8（~753 GB，~30 tok/s）

• 运行 DeepSeek V4.1 Flash Q4（~402 GB，~20 tok/s）
• 运行 GLM-5.2 Q4（~418 GB，~18 tok/s）
• 可运行 Qwen3.5-397B FP8（~448 GB，~30 tok/s）

​

工作原理

• 2+ 台 Mac Studio M5 Ultra（或 Mac Pro M5 Ultra）
• Thunderbolt 5 线缆（直连）或 Thunderbolt 5 网络交换机
• macOS 15.2+ 搭配 MLX 0.22+
• 模型必须支持张量并行（大多数 MLX 兼容模型均支持）

# On each Mac Studio
pip install mlx-lm --upgrade

# Launch distributed inference (example: 2x M5 Ultra)
mlx.launch --hosts host1,host2 \
  mlx_lm.generate \
  --model deepseek-ai/DeepSeek-V4.1-Flash-MLX \
  --quantization q4 \
  --tensor-parallel-size 2 \
  --prompt "Explain quantum computing"

​

与 DGX Spark 集群的对比

• 你需要桌面形态下的 512+ GB 统一内存
• 你需要静音运行（Mac Studio 几乎无声）
• 你已在 Apple 生态系统中（macOS、Xcode 等）
• 你需要运行 V4.1 Flash FP8（仅 4x M5 Ultra 能满足）

• 你需要最大吞吐量（4x DGX Spark 87-125 tok/s vs 2x M5 Ultra 20 tok/s）
• 你想要更低的每 GB 成本（$12,000 对应 512 GB，$22,600 对应 1 TB）
• 你偏好基于 Linux 的服务（vLLM、SGLang）
• 你需要 ConnectX-7 RoCE 网络进行低延迟集群

​

软件后端对比

​

MLX（mlx-lm）

• 优点： 原生 Apple Silicon 优化，最快的单用户性能，率先支持最新模型
• 缺点： 一次只能处理一个请求，无并发批处理，仅限 macOS
• 性能： 约 50-60 tok/s（120B 模型），约 10-20 tok/s（前沿模型）
• 安装： pip install mlx-lm

mlx_lm.generate \
  --model Qwen/Qwen3.5-122B-A10B-MLX \
  --quantization q8 \
  --prompt "Write a poem about local LLMs"

​

Ollama（搭配 MLX 后端）

• 优点： 最简单的设置，有 GUI，自 v0.19 起支持 MLX 后端
• 缺点： 一次只能处理一个请求，无并发批处理，比原生 MLX 慢
• 性能： 约 40-50 tok/s（120B 模型，比原生 MLX 慢 10-20%）
• 安装： 从 ollama.com 下载，在设置中选择 MLX 后端

ollama run qwen3.5:122b-a10b-q8

​

vLLM-MLX

• 优点： 并发批处理，OpenAI 兼容 API，生产级
• 缺点： 较新的项目，不如原生 MLX 稳定，需要更多设置
• 性能： 每并发用户约 35-45 tok/s（含批处理开销）
• 安装： pip install vllm-mlx

vllm serve Qwen/Qwen3.5-122B-A10B-MLX \
  --quantization q8 \
  --max-num-seqs 10 \
  --api-server-host 0.0.0.0

​

gmlx

• 优点： 提示词处理速度比 llama.cpp 快 1.7x，针对 Apple Silicon 优化
• 缺点： 较新的项目，社区较小，模型支持有限
• 性能： 约 60-70 tok/s（120B 模型，提示词密集型工作负载最快的后端）
• 安装： 从源码构建（参见 gmlx GitHub）

​

按使用场景推荐模型

​

独立开发者（256 GB 配置）

​

研究 / 前沿模型（512 GB 配置）

​

团队服务（4x M5 Ultra 集群）

​

性价比分析

​

每 GB 统一内存成本

​

每 tok/s 成本（推理吞吐量）

​

设置指南

​

初始设置

1. 开箱并连接
   • 连接 Thunderbolt 5 线缆（如果使用分布式推理）
   • 连接电源、显示器、键盘、鼠标
   • 启动进入 macOS
2. 安装前置依赖
   # Install Homebrew (if not already installed)
   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
   
   # Install Python 3.11+
   brew install [email protected]
   
   # Install Xcode command line tools
   xcode-select --install
   
3. 安装 MLX 后端
   pip3 install mlx-lm --upgrade
   
4. 下载模型
   # Example: Qwen3.5-122B-A10B at Q8
   huggingface-cli download Qwen/Qwen3.5-122B-A10B-MLX \
     --local-dir ~/models/qwen3.5-122b-q8
   
5. 运行推理
   mlx_lm.generate \
     --model ~/models/qwen3.5-122b-q8 \
     --prompt "Explain quantum computing in simple terms"
   

​

分布式推理设置（2+ 台 Mac Studio）

1. 连接 Thunderbolt 5
   • 使用 Thunderbolt 5 线缆（最长 2m）或 Thunderbolt 5 网络交换机
   • 验证连接：system_profiler SPThunderboltDataType
2. 配置主机
   # On each Mac Studio, note the hostname
   hostname
   # Output: MacStudio-1.local, MacStudio-2.local, etc.
   
3. 启动分布式推理
   # On primary Mac Studio
   mlx.launch --hosts MacStudio-1.local,MacStudio-2.local \
     mlx_lm.generate \
     --model deepseek-ai/DeepSeek-V4.1-Flash-MLX \
     --quantization q4 \
     --tensor-parallel-size 2 \
     --prompt "Write a research paper on local LLM inference"
   
4. 监控性能
   # On each Mac Studio, monitor resource usage
   top -l 1 | grep "CPU usage"
   sudo powermetrics --samplers gpu_power -i 1000
   

​

后续步骤