Skip to main content
您的 Mac Studio 所配备的统一内存能够容纳普通笔记本电脑无法处理的庞大模型,正因如此它常被用作无显示器的推理服务器来运行 LM Studio 或 Ollama。不过目前尚未解决的问题是:如何从 Mac Studio 以外的位置访问这些模型。只需在 LM Studio 或 Ollama 旁运行 Tokios 连接器,即可在 https://api.tokios.com 处获得一个经过身份验证的访问端点。整个过程无需将服务器绑定至 0.0.0.0,也无需配置 VPN 或为每位团队成员单独设置网络环境。

局域网与你的团队并非同一概念

LM Studio 的官方文档详细介绍了 serve on local network 的相关内容,即如何将服务器绑定至 127.0.0.1 以外的地址以便 Wi-Fi 网络中的其他设备能够访问它。文档中还附带了相关警告信息,指出该工具的请求级身份验证功能默认处于关闭状态。如此设置后,家庭网络中的另一台设备便可与 Mac Studio 进行通信。不过这并不能实现以下功能:
  • 不在您局域网内的团队成员。那些在其他大楼、其他城市工作,或是使用自家网络的人员,均无法访问绑定到您本地子网的服务器。
  • 基于个人身份的访问控制。 LM Studio 的网络服务器并未内置 API 密钥机制,因此任何能够访问指定端口与路径的用户均可调用该服务。这样一来便无法仅向特定团队成员授予访问权限而拒绝其他人,也无法在不重启服务器的情况下随时撤销某些用户的访问权。
  • 一个即便更换设备也能保持不变的地址。 局域网 IP 是与您的网络绑定的。倘若移动 Mac Studio、更换路由器,或者改用 Mac mini 来执行任务,所有客户端的配置都会失效。
Tokios 并不会改变 LM Studio 或 Ollama 的运行方式;它只是添加了一个连接器,让 Mac Studio 能够连接到 https://api.tokios.com。这样一来,运行时便无需依赖本地回环接口,也无需开放任何入站端口。
Meta tested Muse Glimmer 30B on MacBook M4 Max and M5 Max chips, alongside an RTX 5090, and ships MLX builds for Apple Silicon. A Mac Studio with 32 GB unified memory handles the 4-bit build comfortably; 64 GB or more handles every build up to BF16. DFlash adds a reported 1.8x speedup on M5 Max and 1.5x on M4 Max.

在您的 Mac Studio 上完成部署吧

1

在 Mac Studio 上启动运行环境

按照常规方式在本地回环接口上运行模型服务器。
在添加该连接器之前,请确认它能够响应符合 OpenAI 规范的 /v1 API 请求。
2

获取兑换码并配对连接器

在 dashboard 控制台中,打开 Setup 选项卡并选择 Start pairing 即可获取一次性使用的兑换代码,该代码格式为 TKS-XXXX-XXXX,有效期约为 15 分钟。随后在 Mac Studio 上执行以下命令:
Tokios ships a native Apple Silicon (arm64) build of tokios-connector, which covers Mac Studio, Mac mini, and MacBook Pro on Apple Silicon. If Gatekeeper flags the binary, clear it with xattr -d com.apple.quarantine ./tokios-connector; the install one-liner above avoids this.Back in the dashboard, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel — you never see it on screen or paste it into a file.
3

将连接器指向您运行环境中的 /v1 端点即可

该连接器在 Mac Studio 上所连接的上游服务为 LM Studio 或 Ollama 提供的兼容 OpenAI 协议的 API,二者均通过回环接口通信,并非对外开放的端口。默认端口设置如下:LM Studio 为 1234,Ollama 为 11434(两者均需附加 /v1 后缀)。针对这种单机部署场景,无需配置入站防火墙规则,也无需进行局域网绑定操作,更无需调整连接器的其他设置。
4

注册一次部署

在 Models 选项卡中,将你的上游模型 ID(即你在 LM Studio 或 Ollama 中加载的模型)映射为一个公开的部署名称,比如 studio-model。客户端会在 model 字段中发送该部署名称,而非上游模型 ID。
5

创建一个 API 密钥

在 Keys 选项卡下创建一个令牌。这些令牌属于 sk-tok-… 类型的持有者令牌,仅会显示一次。您还可以为这些令牌设定特定的部署名称范围,这样一来就能将某个团队成员的令牌使用权限限定在此部署范围内。

请始终保持其开启状态

A terminal window works for testing, but a Mac Studio doing this job full time should keep the connector running across reboots and logouts. Run it as a launchd background service using a ~/Library/LaunchAgents/com.tokios.connector.plist agent that points ProgramArguments at tokios-connector --config and your tokios-connector.json, with RunAtLoad and KeepAlive set so it restarts automatically. See Connector config: running as a background service for the full plist and launchctl load / launchctl start commands. 对于无人会交互式登录的机器,建议选用 LaunchDaemon 而非 LaunchAgent;请查阅 Apple 针对您所用 macOS 版本的最新说明,以确认哪种方案更适合您的部署环境。

随时随地均可使用

当连接器完成配对且部署信息也已注册后,请将客户端指向 Tokios,而非 Mac Studio 的 IP 地址或主机名。
Claude Code 的模型选择器仅显示 claude* 类型的 ID,因此您的 Tokios 部署不会出现在列表中 — 此时需要明确指定 --model studio-model。
倘若您在 Mac Studio 上同时运行多个模型,例如使用 LM Studio 运行一个模型,同时用 Ollama 运行另一个模型,此时应借助 连接器配置文件 来定义多条路由及对应的上游模型 ID,而非仅针对单一模型进行配对设置。关于如何在同一端点下注册并切换多个部署实例,请参阅 模型路由 相关说明。

为何仅设一个端点

  • 共享 Mac Studio 的同时无需共享网络。 团队成员可使用他们自己的限定范围 API 密钥来调用 https://api.tokios.com,这样他们就无需加入您的局域网或 Tailscale 网络。
  • 无需修改客户端配置即可切换模型。 只需将 studio-model 指向其他上游模型或后端,所有原本使用该模型的代理与脚本便可继续正常运行。
  • 无需开放入站端口,也无需配置 0.0.0.0。 LM Studio 与 Ollama 均可继续运行在 127.0.0.1 上。该连接器仅会向 Tokios 发起出站连接。

后续步骤

快速入门

从零开始完成连接器部署并获取所需的 API 密钥。

安装连接器

适用于所有平台的完整连接器安装与配对指南。

使用 Claude Code

请细致地配置 ANTHROPIC_BASE_URL 与 ANTHROPIC_API_KEY。

连接器配置参考

借助 tokios-connector.json 即可在一台 Mac 上同时提供多个模型的服务,您还能将其设置为 launchd 服务来运行。