跳转到主要内容
Mac Studio 的统一内存可以容纳笔记本电脑无法运行的模型,因此它常被用作无头推理服务器来运行 LM Studio、Ollama、MLX Studio 或 MLX-LM Server。目前尚未解决的是如何从 Mac Studio 以外的地方访问该模型。在运行时旁边运行 Tokios 连接器,即可获得 https://api.tokios.com 上一个经过身份验证的端点 — 无需将服务器绑定到 0.0.0.0,无需 VPN,也无需为每位团队成员配置网络。

局域网不等于团队可用

LM Studio 的文档介绍了 serve on local network — 将服务器绑定到 127.0.0.1 以外,让 Wi-Fi 上的其他设备可以访问 — 并附有警告,其请求级身份验证默认关闭。这能让家庭网络上的另一台设备与 Mac Studio 通信。但不能实现:
  • 不在您局域网上的团队成员。 在其他大楼、其他城市或自己家庭网络上工作的团队成员无法访问绑定到本地子网的服务器。
  • 按人访问控制。 LM Studio 的网络服务器没有内置 API 密钥,因此任何能访问绑定端口和路径的人都可以调用 — 无法只给某位团队成员权限而不给另一位,也无法在不重启服务器的情况下撤销某人的访问。
  • 更换设备后仍然有效的地址。 局域网 IP 绑定到您的网络。移动 Mac Studio、更换路由器或改用 Mac mini,每个客户端的配置都会失效。
Tokios 不会改变 LM Studio、Ollama、MLX Studio 或 MLX-LM Server 的运行方式 — 它添加一个连接器,从 Mac Studio 拨出到 https://api.tokios.com,因此您无需将运行时绑定到回环地址之外,也无需开放入站端口。
想要无需终端的图形界面? MLX Studio 是一个原生 macOS 应用,集成了 vMLX 推理引擎、模型管理器和 OpenAI 兼容的 API 服务器 — 无需 pip、无需 venv、无需命令行。下载应用,从 Hugging Face 上的 mlx-community 选择模型,然后在 Server 标签页启动服务器。默认监听端口 8000。

Mac Studio 配置及其运行能力

当前 Mac Studio 搭载 M4 Ultra、M5 Max 或 M5 Ultra 芯片。以下是各芯片在本地推理方面的能力: 凭借如此大的统一内存,Mac Studio 可以运行在其他平台上需要多 GPU 服务器的模型规模:
  • 70B 模型 在 Q4 或 Q8 量化下可在 M4 Ultra(192 GB)和所有 M5 配置上流畅运行。
  • 500B+ MoE 模型 如 DeepSeek V4.1-Flash(552B)和 Kimi K3(2.8T 较低量化)需要多设备配置 — 参见 DeepSeek V4.1-Flash local hardware。
  • 原生精度的 DeepSeek V4-Flash(155 GB)适合 M5 Ultra 256 GB 配置,并留有 KV 缓存空间。
  • 同时运行多个较小模型 — 在 Ollama 上运行编码模型,同时在 MLX Studio 上运行通用模型,每个都有自己的 Tokios 部署。
MLX-LM Server 和 MLX Studio 针对 Apple Silicon 进行了优化。M5 Ultra 的 Neural Accelerators 与前代相比最高可实现 4x 更快的提示处理,因此基于 MLX 的运行时在 M5 硬件上获得最大提升。
当前 Mac Studio 起价 $2,499(M5 Max),$5,499(M5 Ultra)。

在 Mac Studio 上设置

1

在 Mac Studio 上启动运行时

按常规方式在回环地址上运行模型服务器。
在添加连接器之前,确认它能在自身的 OpenAI 兼容 /v1 API 上响应。
2

获取配对码并配对连接器

在dashboard中,打开 Setup 标签页并选择 Start pairing 获取一次性配对码,格式为 TKS-XXXX-XXXX(有效期约 15 分钟)。在 Mac Studio 上运行:
Tokios 提供原生 Apple Silicon(arm64)版本的 tokios-connector,覆盖 Mac Studio、Mac mini 和 Apple Silicon 上的 MacBook Pro。如果 Gatekeeper 标记了该二进制文件,使用 xattr -d com.apple.quarantine ./tokios-connector 清除;上述一行安装命令可避免此问题。回到控制台,approve 该设备(Setup 或 Connectors 标签页)。连接器的令牌通过隧道传输 — 您不会在屏幕上看到它,也不需要粘贴到文件中。
3

将连接器指向运行时的 /v1 端点

连接器的上游是 Mac Studio 上运行时自身的 OpenAI 兼容 API,仍在回环地址上 — 不是暴露给网络的端口。默认端口:LM Studio 1234、Ollama 11434、MLX Studio 8000、MLX-LM Server 8080(均附加 /v1)。这种单机路径无需入站防火墙规则、无需局域网绑定,也无需额外的连接器设置。
4

注册部署

在 Models 标签页上,将上游模型 ID(例如您加载的 LM Studio 或 Ollama 模型)映射到公共部署名称,如 studio-model。客户端在 model 字段中发送此部署名称,而非上游 ID。
5

创建 API 密钥

在 Keys 标签页上创建一个密钥。密钥为 sk-tok-… Bearer 令牌,仅显示一次,可以限定到特定部署名称模式 — 因此团队成员的密钥可以限制在此部署范围内。

保持始终在线

终端窗口可用于测试,但长期承担此任务的 Mac Studio 应在重启和注销后保持连接器运行。将其作为 launchd 后台服务运行,使用 ~/Library/LaunchAgents/com.tokios.connector.plist 代理,将 ProgramArguments 指向 tokios-connector --config 和您的 tokios-connector.json,设置 RunAtLoad 和 KeepAlive 以自动重启。参见 Connector config: running as a background service 获取完整的 plist 和 launchctl load / launchctl start 命令。 对于无人交互式登录的机器,考虑使用 LaunchDaemon 而非 LaunchAgent — 请查阅 Apple 针对您 macOS 版本的当前指南,确认哪种方案更适合您的配置。

从任何地方使用

连接器配对完成且部署注册后,将客户端指向 Tokios 而非 Mac Studio 的 IP 地址或主机名。
Claude Code 的模型选择器仅列出 claude* ID,因此您的 Tokios 部署不会出现在列表中 — 请显式传递 --model studio-model。
如果您在 Mac Studio 上运行多个模型 — 例如 LM Studio 运行一个模型、Ollama 运行另一个、MLX Studio 运行第三个、MLX-LM Server 运行第四个 — 请使用连接器配置文件定义多个路由和上游,而非单模型配对流程。参见模型路由了解在同一端点后注册和切换多个部署。

为什么使用一个端点

  • 共享 Mac Studio 而无需共享网络。 团队成员使用自己的作用域密钥调用 https://api.tokios.com — 他们无需在您的局域网或 Tailscale tailnet 上。
  • 切换模型无需修改客户端配置。 将 studio-model 指向不同的上游模型或后端,每个已针对它的代理和脚本继续工作。
  • 无入站端口,无 0.0.0.0。 LM Studio、Ollama、MLX Studio 和 MLX-LM Server 保持在 127.0.0.1 上。连接器仅向 Tokios 发起出站连接。

后续步骤

快速入门

从零开始完成连接器、部署和 API 密钥的配置。

安装连接器

适用于所有平台的完整连接器安装和配对参考。

使用 Claude Code

详细配置 ANTHROPIC_BASE_URL 和 ANTHROPIC_API_KEY。

连接器配置参考

使用 tokios-connector.json 从一台 Mac 提供多个模型,并作为 launchd 服务运行。