> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# Mac Studio M5 Ultra 选购指南：本地 LLM 推理 256GB 与 512GB 对比

> 本地 LLM 推理应该购买 256GB 还是 512GB 的 Mac Studio M5 Ultra？哪些模型能运行、Apple MLX 分布式推理，以及与 DGX Spark 的对比。

Mac Studio M5 Ultra 是目前统一内存最大的桌面设备——最高 512 GB 由 CPU 和 GPU 共享。256GB 与 512GB 的选择意味着超过 \$3,000 的差价，决定了你能否运行 DeepSeek V4.1 Flash（763B 参数）等前沿模型。本指南详细分析哪些模型能运行、哪些不能，以及何时选择 Mac Studio 而非 DGX Spark 或 RTX PRO。

> [!NOTE]
>
> 最后验证时间：2026-10-21。Apple Silicon 性能和模型兼容性随着每次 MLX 发布快速演进。请查看 [Apple MLX 文档](https://github.com/ml-explore/mlx) 获取最新的后端更新。

## Mac Studio M5 Ultra 配置

| 配置 | 内存 | 带宽 | 价格（建议零售价） | 最佳用途 |
| - | - | - | - | - |
| **M5 Ultra 256 GB** | 256 GB 统一内存 | 1,200 GB/s | \~\$8,500 | 120B 模型 Q8，200B 模型 Q4 |
| **M5 Ultra 512 GB** | 512 GB 统一内存 | 1,200 GB/s | \~\$11,300+ | 前沿模型（V4.1 Flash、GLM-5.2）Q2-Q4 |

两种配置使用相同的 M5 Ultra 芯片——唯一区别是内存容量。512GB 版本贵约 \$2,800，换来 256 GB 额外统一内存。

> [!TIP]
>
> **内存为焊接式——无法后期升级。** 请在购买时选择所需配置。没有 SO-DIMM 插槽或扩展选项。

## 256GB 与 512GB 能运行什么？

256GB 与 512GB 的选择取决于你是否需要运行前沿级模型（200B+ 参数），还是 120B 模型的高精度版本就足够了。

### 256 GB 配置

**可以舒适运行：**

* Qwen3.5-122B-A10B Q8（\~122 GB，\~55 tok/s）
* Qwen3 235B Q4（\~130 GB，\~41 tok/s）
* GLM-4.5-Air（106B MoE）Q8（\~106 GB，\~60 tok/s）
* DeepSeek V4-Flash-0731（284B）原生精度（\~155 GB，\~25 tok/s）

**无法运行：**

* DeepSeek V4.1 Flash（763B 总参数）——最小可用量化约 246 GiB（Q2\_K），无 KV 余量
* GLM-5.2（753B）——需要约 377 GB（Q4），超出 256 GB
* Qwen3.5-397B Q4（\~224 GB）——勉强能装下，上下文空间极小

**最佳用途：** 120B 模型 Q8（最高质量）或 200B+ 模型 Q4（良好质量）。适合运行大型但非前沿级模型的独立开发者。

### 512 GB 配置

**可以舒适运行：**

* DeepSeek V4.1 Flash（763B）Q2\_K（\~246 GiB，\~10-20 tok/s）
* DeepSeek V4.1 Flash Q4（\~402 GiB，\~10-15 tok/s）
* GLM-5.2（753B）Q4（\~418 GB，\~26 tok/s）
* Qwen3.5-397B Q4（\~224 GB，\~35 tok/s）
* Qwen3.5-397B Q8（\~448 GB，\~25 tok/s）
* 同时运行多个 120B 模型

**无法运行：**

* GLM-5.2 FP8（\~753 GB）——超出 512 GB
* Kimi K3（2.8T 参数）——需要约 1.4 TB（Q4），远超 512 GB

**最佳用途：** 前沿模型（V4.1 Flash、GLM-5.2）的实用量化版本。512GB 配置可以运行桌面形态下最大的开源权重模型。

> [!WARNING]
>
> **前沿模型在 512GB 上运行较慢。** DeepSeek V4.1 Flash Q4 约 10-15 tok/s（单台 M5 Ultra）——可用于交互式聊天，但不适合高吞吐量服务。如需更快推理，需要多 GPU（2x DGX Spark 38-73 tok/s）或多 Mac Studio（Apple MLX 分布式推理）。

## Apple MLX 分布式推理

截至 2026 年秋季，Apple MLX 支持通过 Thunderbolt 5 RDMA 进行分布式推理，允许多台 Mac Studio 共享统一内存。

### 当前可实现的能力

**4x Mac Studio M5 Ultra（每台 512 GB）= 2 TB 总内存**

* 运行 Muse Spark Open（816B 参数）36.7 tok/s
* 可运行 DeepSeek V4.1 Flash FP8（\~511 GB，\~40 tok/s）
* 可运行 GLM-5.2 FP8（\~753 GB，\~30 tok/s）

**2x Mac Studio M5 Ultra（每台 512 GB）= 1 TB 总内存**

* 运行 DeepSeek V4.1 Flash Q4（\~402 GB，\~20 tok/s）
* 运行 GLM-5.2 Q4（\~418 GB，\~18 tok/s）
* 可运行 Qwen3.5-397B FP8（\~448 GB，\~30 tok/s）

### 工作原理

Apple MLX 分布式推理利用 Thunderbolt 5 的 128 Gbps（16 GB/s）双向带宽和 RDMA（远程直接内存访问）实现低延迟张量并行。

**要求：**

* 2+ 台 Mac Studio M5 Ultra（或 Mac Pro M5 Ultra）
* Thunderbolt 5 线缆（直连）或 Thunderbolt 5 网络交换机
* macOS 15.2+ 搭配 MLX 0.22+
* 模型必须支持张量并行（大多数 MLX 兼容模型均支持）

**设置：**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
# On each Mac Studio
pip install mlx-lm --upgrade

# Launch distributed inference (example: 2x M5 Ultra)
mlx.launch --hosts host1,host2 \
  mlx_lm.generate \
  --model deepseek-ai/DeepSeek-V4.1-Flash-MLX \
  --quantization q4 \
  --tensor-parallel-size 2 \
  --prompt "Explain quantum computing"
```

> [!TIP]
>
> **Thunderbolt 5 RDMA 已达到生产可用水平。** Context Studios 和 presenc.ai 的社区基准测试显示稳定 30-40 tok/s（4x M5 Ultra 集群）。这不再是实验性功能——而是为前沿模型提供 1-2 TB 统一内存的可行方案。

### 与 DGX Spark 集群的对比

| 特性 | 2x Mac Studio M5 Ultra（512 GB） | 2x DGX Spark（256 GB） | 4x DGX Spark（512 GB） |
| - | - | - | - |
| 总内存 | 1,024 GB | 256 GB | 512 GB |
| 内存带宽 | 2,400 GB/s（2x 1,200） | 546 GB/s（2x 273） | 1,092 GB/s（4x 273） |
| 互连 | Thunderbolt 5 RDMA（16 GB/s） | ConnectX-7 RoCE（25 GB/s） | ConnectX-7 RoCE（25 GB/s） |
| V4.1 Flash Q4 | \~20 tok/s | 无法运行 | \~87-125 tok/s |
| V4.1 Flash FP8 | \~40 tok/s | 无法运行 | 无法运行 |
| 价格 | \~\$22,600 | \~\$6,000 | \~\$12,000 |
| 功耗 | 300W（2x 150W） | 400W（2x 200W） | 800W（4x 200W） |
| 形态 | 桌面 | 小型桌面 | 4x 小型桌面 |

**何时选择 Mac Studio：**

* 你需要桌面形态下的 512+ GB 统一内存
* 你需要静音运行（Mac Studio 几乎无声）
* 你已在 Apple 生态系统中（macOS、Xcode 等）
* 你需要运行 V4.1 Flash FP8（仅 4x M5 Ultra 能满足）

**何时选择 DGX Spark：**

* 你需要最大吞吐量（4x DGX Spark 87-125 tok/s vs 2x M5 Ultra 20 tok/s）
* 你想要更低的每 GB 成本（$12,000 对应 512 GB，$22,600 对应 1 TB）
* 你偏好基于 Linux 的服务（vLLM、SGLang）
* 你需要 ConnectX-7 RoCE 网络进行低延迟集群

## 软件后端对比

Mac Studio 支持 4 种主要推理后端。每种在单用户交互式使用与多用户 API 服务方面有不同的权衡。

### MLX（mlx-lm）

**最佳用途：** 单用户交互式推理，最新模型支持

* **优点：** 原生 Apple Silicon 优化，最快的单用户性能，率先支持最新模型
* **缺点：** 一次只能处理一个请求，无并发批处理，仅限 macOS
* **性能：** 约 50-60 tok/s（120B 模型），约 10-20 tok/s（前沿模型）
* **安装：** `pip install mlx-lm`

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
mlx_lm.generate \
  --model Qwen/Qwen3.5-122B-A10B-MLX \
  --quantization q8 \
  --prompt "Write a poem about local LLMs"
```

### Ollama（搭配 MLX 后端）

**最佳用途：** 简单设置，一次一个请求，桌面使用

* **优点：** 最简单的设置，有 GUI，自 v0.19 起支持 MLX 后端
* **缺点：** 一次只能处理一个请求，无并发批处理，比原生 MLX 慢
* **性能：** 约 40-50 tok/s（120B 模型，比原生 MLX 慢 10-20%）
* **安装：** 从 [ollama.com](https://ollama.com) 下载，在设置中选择 MLX 后端

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
ollama run qwen3.5:122b-a10b-q8
```

### vLLM-MLX

**最佳用途：** 多用户 API 服务，并发批处理

* **优点：** 并发批处理，OpenAI 兼容 API，生产级
* **缺点：** 较新的项目，不如原生 MLX 稳定，需要更多设置
* **性能：** 每并发用户约 35-45 tok/s（含批处理开销）
* **安装：** `pip install vllm-mlx`

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
vllm serve Qwen/Qwen3.5-122B-A10B-MLX \
  --quantization q8 \
  --max-num-seqs 10 \
  --api-server-host 0.0.0.0
```

### gmlx

**最佳用途：** 最大吞吐量，提示词处理

* **优点：** 提示词处理速度比 llama.cpp 快 1.7x，针对 Apple Silicon 优化
* **缺点：** 较新的项目，社区较小，模型支持有限
* **性能：** 约 60-70 tok/s（120B 模型，提示词密集型工作负载最快的后端）
* **安装：** 从源码构建（参见 [gmlx GitHub](https://github.com/example/gmlx)）

> [!TIP]
>
> **对大多数用户，建议从 Ollama + MLX 后端开始。** 这是最简单的设置，足以满足单用户交互式使用。当你需要并发 API 服务时，再升级到 vLLM-MLX。

## 按使用场景推荐模型

### 独立开发者（256 GB 配置）

| 使用场景 | 推荐模型 | 量化 | 内存 | tok/s |
| - | - | - | - | - |
| 编码助手 | Qwen3-Coder-32B | Q8 | \~32 GB | \~70 |
| 通用聊天 | Qwen3.5-122B-A10B | Q8 | \~122 GB | \~55 |
| 推理 | GLM-4.5-Air（106B MoE） | Q8 | \~106 GB | \~60 |
| 创意写作 | Qwen3 70B | Q8 | \~70 GB | \~65 |
| 前沿模型（较慢） | DeepSeek V4-Flash-0731 | 原生 | \~155 GB | \~25 |

### 研究 / 前沿模型（512 GB 配置）

| 使用场景 | 推荐模型 | 量化 | 内存 | tok/s |
| - | - | - | - | - |
| 前沿推理 | DeepSeek V4.1 Flash | Q4 | \~402 GB | \~10-15 |
| 前沿推理（更快） | DeepSeek V4.1 Flash | Q2\_K | \~246 GiB | \~15-20 |
| 大型 MoE | GLM-5.2（753B） | Q4 | \~418 GB | \~26 |
| 大型稠密模型 | Qwen3.5-397B | Q8 | \~448 GB | \~25 |
| 多模型服务 | 多个 120B 模型 | Q4-Q8 | 每个约 100-200 GB | 每个约 30-55 |

### 团队服务（4x M5 Ultra 集群）

| 使用场景 | 推荐模型 | 量化 | 内存 | tok/s |
| - | - | - | - | - |
| 前沿 API | DeepSeek V4.1 Flash | FP8 | \~511 GB | \~40 |
| 大型 MoE API | GLM-5.2 | FP8 | \~753 GB | \~30 |
| 多租户 | 多个 120B 模型 | Q8 | 每个约 120 GB | 每个约 55 |

## 性价比分析

Mac Studio M5 Ultra 相比 DGX Spark 或 RTX PRO 的溢价是否值得？

### 每 GB 统一内存成本

| 平台 | 内存 | 价格 | \$/GB | 备注 |
| - | - | - | - | - |
| Mac Studio M5 Ultra 256 GB | 256 GB | \~\$8,500 | \$33/GB | 桌面形态，静音 |
| Mac Studio M5 Ultra 512 GB | 512 GB | \~\$11,300 | \$22/GB | 大内存最佳性价比 |
| 2x DGX Spark | 256 GB | \~\$6,000 | \$23/GB | 基于 Linux，更高吞吐量 |
| 4x DGX Spark | 512 GB | \~\$12,000 | \$24/GB | 集群，87-125 tok/s（V4.1 Flash） |
| RTX PRO 6000 | 96 GB | \~\$16,000 | \$167/GB | 专业 GPU，NVLink |
| 4x RTX PRO 6000 Max-Q | 384 GB | \~\$34,000 | \$89/GB | 密度优化 |

**Mac Studio 每 GB 成本比 RTX PRO 低 4-7x**，但 RTX PRO 带宽更高（1,792 GB/s vs 1,200 GB/s）并支持 NVLink 多 GPU。

### 每 tok/s 成本（推理吞吐量）

| 平台 | 模型 | tok/s | 价格 | \$/tok/s |
| - | - | - | - | - |
| Mac Studio M5 Ultra 512 GB | V4.1 Flash Q4 | \~15 | \~\$11,300 | \$753 |
| 2x DGX Spark | V4.1 Flash 混合 | \~55（平均） | \~\$6,000 | \$109 |
| 4x DGX Spark | V4.1 Flash NVFP4 | \~106（平均） | \~\$12,000 | \$113 |
| 2x RTX PRO 6000 | V4-Flash-0731 FP8 | \~158（平均） | \~\$32,000 | \$203 |
| 4x M5 Ultra 集群 | V4.1 Flash FP8 | \~40 | \~\$45,200 | \$1,130 |

**DGX Spark 前沿模型的每 tok/s 成本比 Mac Studio 低 5-7x。** Mac Studio 在静音、形态和生态系统集成方面更胜一筹。

> [!TIP]
>
> **选择 Mac Studio 如果你：** 看重静音、桌面形态和 Apple 生态系统集成，而非原始吞吐量。
>
> **选择 DGX Spark 如果你：** 想要每美元最大 tok/s 并偏好基于 Linux 的服务。
>
> **选择 RTX PRO 如果你：** 需要专业特性（ECC、ISV 认证、保修）和 NVLink 多 GPU。

## 设置指南

### 初始设置

1. **开箱并连接**
   * 连接 Thunderbolt 5 线缆（如果使用分布式推理）
   * 连接电源、显示器、键盘、鼠标
   * 启动进入 macOS

2. **安装前置依赖**
   ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
   # Install Homebrew (if not already installed)
   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

   # Install Python 3.11+
   brew install python@3.11

   # Install Xcode command line tools
   xcode-select --install
   ```

3. **安装 MLX 后端**
   ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
   pip3 install mlx-lm --upgrade
   ```

4. **下载模型**
   ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
   # Example: Qwen3.5-122B-A10B at Q8
   huggingface-cli download Qwen/Qwen3.5-122B-A10B-MLX \
     --local-dir ~/models/qwen3.5-122b-q8
   ```

5. **运行推理**
   ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
   mlx_lm.generate \
     --model ~/models/qwen3.5-122b-q8 \
     --prompt "Explain quantum computing in simple terms"
   ```

### 分布式推理设置（2+ 台 Mac Studio）

1. **连接 Thunderbolt 5**
   * 使用 Thunderbolt 5 线缆（最长 2m）或 Thunderbolt 5 网络交换机
   * 验证连接：`system_profiler SPThunderboltDataType`

2. **配置主机**
   ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
   # On each Mac Studio, note the hostname
   hostname
   # Output: MacStudio-1.local, MacStudio-2.local, etc.
   ```

3. **启动分布式推理**
   ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
   # On primary Mac Studio
   mlx.launch --hosts MacStudio-1.local,MacStudio-2.local \
     mlx_lm.generate \
     --model deepseek-ai/DeepSeek-V4.1-Flash-MLX \
     --quantization q4 \
     --tensor-parallel-size 2 \
     --prompt "Write a research paper on local LLM inference"
   ```

4. **监控性能**
   ```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
   # On each Mac Studio, monitor resource usage
   top -l 1 | grep "CPU usage"
   sudo powermetrics --samplers gpu_power -i 1000
   ```

## 后续步骤

> **[硬件参考](https://docs.tokios.com/guides/hardware-reference.md)**
>
> 将 Mac Studio 与 DGX Spark、RTX PRO 和经济型黑客级方案进行对比。

> **[DGX Spark 模型兼容性](https://docs.tokios.com/guides/dgx-spark-model-compatibility.md)**
>
> 查看哪些模型可以运行在 DGX Spark 的 128 GB 统一内存上（Mac Studio 的替代方案）。

> **[DeepSeek V4.1 Flash 在 2 台 DGX Spark 上](https://docs.tokios.com/blog/deepseek-v41-flash-dgx-spark.md)**
>
> DGX Spark 集群上 V4.1 Flash 的社区基准测试（比 Mac Studio 更高吞吐量）。

> **[模型适配](https://docs.tokios.com/guides/model-fit.md)**
>
> 计算哪些模型尺寸和量化方案适合你的 Mac Studio 统一内存。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.