Mac Studio를 팀용 모델 엔드포인트로 만들기

Mac Studio의 통합 메모리는 노트북이 담을 수 없는 모델을 수용할 수 있으므로, LM Studio, Ollama, MLX Studio, 또는 MLX-LM Server를 헤드리스 추론 박스로 사용하게 됩니다. 해결되지 않은 부분은 Mac Studio 자체가 아닌 다른 곳에서 해당 모델에 접근하는 것입니다. Tokios 커넥터를 런타임 옆에서 실행하면 https://api.tokios.com에 인증된 엔드포인트가 생깁니다 — 서버를 0.0.0.0에 바인딩할 필요도, VPN도, 팀원별 네트워크 설정도 없습니다.

LAN은 팀과 같지 않다

LM Studio의 자체 문서는 serve on local network을 다룹니다 — 127.0.0.1 너머로 서버를 바인딩하여 Wi-Fi의 다른 기기에서 접근할 수 있게 만드는 것이지만, 경고가 붙어 있으며 요청 수준 인증은 기본적으로 꺼져 있습니다. 이렇게 하면 홈 네트워크의 두 번째 머신이 Mac Studio와 통신할 수 있게 됩니다. 하지만 다음과 같은 것은 해결되지 않습니다:

LAN에 없는 팀원. 다른 건물, 다른 도시, 또는 자체 홈 네트워크에서 작업하는 사람은 로컬 서브넷에 바인딩된 서버에 접근할 수 없습니다.
사용자별 접근 제어. LM Studio의 네트워크 서버에는 내장 API 키가 없으므로 바인딩된 포트와 경로에 접근할 수 있는 사람은 누구나 호출할 수 있습니다 — 한 팀원에게만 접근을 허용하거나 나중에 서버를 재시작하지 않고 접근을 차단할 방법이 없습니다.
머신 변경 후에도 유지되는 주소. LAN IP는 네트워크에 묶여 있습니다. Mac Studio를 이동하거나, 라우터를 변경하거나, Mac mini로 작업을 넘기면 모든 클라이언트의 설정이 깨집니다.

Tokios는 LM Studio, Ollama, MLX Studio, 또는 MLX-LM Server의 실행 방식을 변경하지 않습니다 — Mac Studio에서 https://api.tokios.com으로 아웃바운드 연결하는 커넥터를 추가하므로, 런타임을 루프백 너머로 바인딩하거나 인바운드 포트를 열 필요가 없습니다.

터미널 없는 GUI를 원하나요? MLX Studio는 vMLX 추론 엔진, 모델 매니저, OpenAI 호환 API 서버를 번들하는 네이티브 macOS 앱입니다 — pip도, venv도, 커맨드 라인도 없습니다. 앱을 다운로드하고, Hugging Face의 mlx-community에서 모델을 선택하고, Server 탭에서 서버를 시작하세요. 기본적으로 포트 8000에서 수신 대기합니다.

Mac Studio 구성과 실행 가능한 모델

현재 Mac Studio는 M4 Ultra, M5 Max, 또는 M5 Ultra 칩으로 출시됩니다. 각 구성이 로컬 추론에 제공하는 것을 정리합니다:

칩	통합 메모리	메모리 대역폭
M4 Ultra	최대 192 GB	~820 GB/s
M5 Max	최대 128 GB	460–614 GB/s
M5 Ultra	최대 256–512 GB	1,200 GB/s (50% 더 빠른 M3 Ultra)

이만큼의 통합 메모리가 있으면, Mac Studio는 다른 플랫폼에서 멀티 GPU 서버가 필요한 모델 크기를 처리할 수 있습니다:

70B 모델 Q4 또는 Q8 양자화는 M4 Ultra (192 GB)와 모든 M5 구성에서 여유롭게 실행됩니다.
500B+ MoE 모델 DeepSeek V4.1-Flash (552B) 및 Kimi K3 (낮은 양자화에서 2.8T)은 멀티 디바이스 설정이 필요합니다 — DeepSeek V4.1-Flash local hardware 참조.
DeepSeek V4-Flash 네이티브 정밀도 (155 GB)는 M5 Ultra 256 GB 구성에 KV 캐시 여유를 두고 맞습니다.
여러 작은 모델 동시 실행 — Ollama에서 코딩 모델을, MLX Studio에서 범용 모델을 동시에 실행하고, 각각 자체 Tokios 배포 뒤에서 서빙할 수 있습니다.

MLX-LM Server와 MLX Studio는 Apple Silicon에 최적화되어 있습니다. M5 Ultra의 Neural Accelerator는 이전 세대 대비 최대 4x 빠른 프롬프트 처리를 제공하므로, MLX 기반 런타임은 M5 하드웨어에서 가장 큰 이점을 얻습니다.

현재 Mac Studio 가격은 $2,499(M5 Max), $5,499(M5 Ultra)부터 시작합니다.

Mac Studio에 설정하기

Start your runtime on the Mac Studio

평소처럼 루프백에서 모델 서버를 실행하세요.

# Developer (Local Server) tab → Start Server
# Listens on http://127.0.0.1:1234/v1 by default

ollama run gemma4:e4b
# Listens on http://127.0.0.1:11434/v1

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen-3.5-4B-8bit
# Listens on http://127.0.0.1:8080/v1

# Server tab → Start Server
# Listens on http://127.0.0.1:8000/v1 by default

커넥터를 추가하기 전에 자체 OpenAI 호환 /v1 API에서 응답하는지 확인하세요.

Get a claim code and pair the connector

이곳에서 dashboard를 열어 Setup 탭에서 Start pairing을 선택하면 TKS-XXXX-XXXX 형태의 일회성 페어링 코드가 표시됩니다(약 15분간 유효). Mac Studio에서 실행하세요:

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Tokios는 네이티브 Apple Silicon (arm64) 빌드의 tokios-connector를 제공하며, Apple Silicon의 Mac Studio, Mac mini, MacBook Pro를 커버합니다. Gatekeeper가 바이너리를 플래그하면 xattr -d com.apple.quarantine ./tokios-connector로 해제하세요; 위의 설치 원라이너는 이 과정을 건너뜁니다.대시보드에서 기기를 approve하세요 — Setup 또는 Connectors 탭에서. 커넥터의 토큰은 터널을 통해 전달됩니다 — 화면에 표시되거나 파일에 붙여넣지 않습니다.

Point the connector at your runtime's /v1 endpoint

커넥터의 업스트림은 Mac Studio의 런타임 자체 OpenAI 호환 API이며, 여전히 루프백에 있습니다 — 네트워크에 노출하는 포트가 아닙니다. 기본 포트: LM Studio 1234, Ollama 11434, MLX Studio 8000, MLX-LM Server 8080 (모두 /v1 추가). 이 단일 머신 경로에는 인바운드 방화벽 규칙, LAN 바인딩, 또는 추가 커넥터 설정이 필요하지 않습니다.

먼저 Models 탭을 열어 업스트림 모델 id(예: 로드한 LM Studio 또는 Ollama 모델)를 studio-model과 같은 공개 배포 이름에 매핑하세요. 클라이언트는 업스트림 id가 아닌 이 배포 이름을 model 필드에 전송합니다.

Create an API key

먼저 Keys 탭에서 키를 생성하세요. 키는 sk-tok-… Bearer 토큰이며 한 번만 표시되고 특정 배포 이름 패턴으로 범위를 제한할 수 있습니다 — 팀원의 키를 이 배포만으로 제한할 수 있습니다.

항상 켜져 있게 유지

터미널 창은 테스트에 충분하지만, 이 작업을 전담하는 Mac Studio라면 재부팅과 로그아웃에서도 커넥터가 계속 실행되어야 합니다. launchd 백그라운드 서비스로 실행하세요 — ~/Library/LaunchAgents/com.tokios.connector.plist 에이전트를 사용하여 ProgramArguments를 tokios-connector --config와 tokios-connector.json을 가리키게 하고, RunAtLoad와 KeepAlive를 설정하여 자동으로 재시작되게 하세요. 자세한 내용은 Connector config: running as a background service의 전체 plist 및 launchctl load / launchctl start 명령을 참조하세요. 대화형으로 로그인하지 않는 머신에는 LaunchDaemon이 더 적합할 수 있습니다 — LaunchAgent 대신 고려해보세요. 현재 macOS 버전에서 어떤 것이 더 적합한지 Apple의 현재 가이드를 확인하세요.

어디서든 사용

커넥터가 페어링되고 배포가 등록되면, Mac Studio의 IP 주소나 호스트 이름 대신 Tokios를 가리키도록 클라이언트를 설정하세요.

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model studio-model

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="studio-model",
    messages=[{"role": "user", "content": "Hello from the team"}],
)

Claude Code의 모델 피커는 claude* id만 나열하므로 Tokios 배포는 목록에 표시되지 않습니다 — --model studio-model을 명시적으로 전달하세요.

Mac Studio에서 여러 모델을 실행하는 경우 — 예를 들어 LM Studio로 첫 번째 모델, Ollama로 또 다른 모델, MLX Studio로 세 번째 모델, MLX-LM Server로 네 번째 모델 — connector config file을 사용하여 단일 모델 페어링 흐름 대신 여러 라우트와 업스트림을 정의하세요. 같은 엔드포인트 뒤에서 여러 배포를 등록하고 전환하는 방법은 Model routing을 참조하세요.

왜 하나의 엔드포인트인가

네트워크를 공유하지 않고 Mac Studio를 공유. 팀원이 자체 범위 키로 https://api.tokios.com을 호출합니다 — LAN이나 Tailscale tailnet에 있을 필요가 없습니다.
클라이언트 설정을 건드리지 않고 모델 교체. studio-model을 다른 업스트림 모델이나 백엔드로 향하게 하면, 이미 대상 삼는 모든 에이전트와 스크립트가 계속 작동합니다.
인바운드 포트 없음, 0.0.0.0 없음. LM Studio, Ollama, MLX Studio, MLX-LM Server는 127.0.0.1에 머뭅니다. 커넥터는 Tokios로 아웃바운드 연결만 수행합니다.

다음 단계

Quickstart

작동하는 커넥터, 배포, API 키를 처음부터 설정하세요.

Install the connector

모든 플랫폼에 대한 전체 커넥터 설치 및 페어링 레퍼런스.

Use Claude Code

가이드: ANTHROPIC_BASE_URL 및 ANTHROPIC_API_KEY를 상세히 구성하세요.

Connector config reference

한 대의 Mac에서 tokios-connector.json으로 여러 모델을 서빙하고 launchd 서비스로 실행하세요.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

Mac Studio를 팀용 모델 엔드포인트로 만들기

LAN은 팀과 같지 않다

Mac Studio 구성과 실행 가능한 모델

Mac Studio에 설정하기

항상 켜져 있게 유지

어디서든 사용

왜 하나의 엔드포인트인가

다음 단계

Quickstart

Install the connector

Use Claude Code

Connector config reference

​LAN은 팀과 같지 않다

​Mac Studio 구성과 실행 가능한 모델

​Mac Studio에 설정하기

​항상 켜져 있게 유지

​어디서든 사용

​왜 하나의 엔드포인트인가

​다음 단계

Quickstart

Install the connector

Use Claude Code

Connector config reference

LAN은 팀과 같지 않다

Mac Studio 구성과 실행 가능한 모델

Mac Studio에 설정하기

항상 켜져 있게 유지

어디서든 사용

왜 하나의 엔드포인트인가

다음 단계