Strix Halo 또는 Ryzen AI Max 기반 장치를 모델 엔드포인트로 활용하기

이미 귀하의 Strix Halo 장치에서는 모델이 실행 중입니다. 어려운 부분은 인바운드 포트를 열지 않고도 노트북, 편집기, 또는 코딩 에이전트에서 해당 모델에 접근하는 것입니다. Tokios 커넥터를 런타임 옆에서 실행하면 https://api.tokios.com 주소로 인증이 필요한 엔드포인트가 생성되는데, 이 엔드포인트는 OpenAI와 Anthropic 양쪽의 요청 형식을 모두 처리하므로 Claude Code, opencode 혹은 기타 OpenAI 호환 클라이언트가 방화벽 설정을 건드리지 않고도 장치에 접근할 수 있습니다.

커넥터 실행 후: 엔드포인트 관련 문제점

Framework Desktop, mini-PC, and other AMD Ryzen AI Max+ 395 (“Strix Halo”) owners buy the 128GB unified-memory configuration specifically to run large local models. On this silicon, the community’s general experience is that llama.cpp with the Vulkan backend is more reliable than ROCm/HIP. 모델이 localhost에서 정상적으로 응답하기 시작하면 대부분의 사용자들은 opencode, Claude Code 같은 코딩 에이전트를 연결하고자 합니다. 이를 위해서는 다음 조건들이 필요합니다.

다른 장소에서도 접근 가능한 OpenAI 호환 엔드포인트. 기본적으로 런타임은 Strix Halo 장치의 127.0.0.1 주소에 바인딩됩니다. 노트북이나 다른 장소에서 실행되는 코딩 에이전트가 이에 접근하려면 0.0.0.0 주소에 바인딩하거나 포트를 열거나 터널을 설정해야 하는데, 각각 별도의 설정 과정이 필요하며 클라이언트별 인증 기능도 제공되지 않습니다.
API 형식 호환성. Claude Code는 Anthropic Messages 형식을 사용하는 반면 llama.cpp, Ollama, LM Studio는 OpenAI Chat Completions 형식을 사용합니다. 두 형식을 연결하려면 소규모 프록시를 직접 작성하고 유지관리해야 합니다.
도구들이 안정적으로 연결될 수 있는 환경. 동일한 장치에서 llama.cpp, Ollama, LM Studio 간 전환하거나 로드되는 모델을 바꾸더라도 관련 클라이언트들의 설정을 매번 바꾸지 않아도 되어야 합니다.

Tokios는 이미 실행 중인 런타임 위에 위치하는 연결 계층일 뿐이며 llama.cpp, Ollama, LM Studio, vLLM을 대체하는 것이 아닙니다.

2 기반의 Strix Halo 장치는 DeepSeek-V4-Flash-0731 크기의 GGUF 모델 가중치까지 처리할 충분한 메모리를 갖출 수 있습니다. 하지만 필요한 llama.cpp RPC 경로는 불안정하고 보안상 취약하며 실험 단계에 머물러 있습니다. 따라서 실제 배포 환경으로 활용해서는 안 됩니다. 실험적 한계에 대해서는 DeepSeek V4 Flash 로컬 하드웨어 문서를 참고하시기 바랍니다.

먼저 스트릭스 할로 박스에 설정을 완료하세요

그런 다음 박스에서 런타임을 시작합니다

평소처럼 모델 서버를 실행하되, Vulkan 백엔드에서는 llama.cpp 명령어를 사용하면 됩니다:

llama-server -m your-model.gguf --port 8080

혹은 LM Studio의 로컬 서버나 Ollama를 활용할 수도 있습니다:

ollama run llama3.1

커넥터를 추가하기 전에 해당 서버가 OpenAI 호환 /v1 API에 정상적으로 응답하는지 확인하세요

이후에 클레임 코드를 받아 커넥터를 페어링합니다

In the dashboard, open the Setup tab and select Start pairing to get a one-time claim code shaped TKS-XXXX-XXXX (valid for about 15 minutes).리눅스 환경에서는 다음과 같이 진행합니다:

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

윈도우 환경에서는 PowerShell에서 아래 명령어를 입력합니다:

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

다시 대시보드로 돌아가 Setup 혹은 Connectors 탭에서 해당 기기를 승인합니다. 커넥터용 토큰은 터널을 통해 전달되므로 사용자가 직접 파일에 입력할 필요가 없습니다.

마지막으로 커넥터가 런타임의 /v1 엔드포인트를 가리키도록 설정합니다

The connector’s upstream is the runtime’s own OpenAI-compatible API on the box, not a port you expose externally. Default ports: llama.cpp 8080, LM Studio 1234, Ollama 11434 (all with /v1 appended; for Ollama use its /v1 OpenAI-compatible API, not the native /api). No inbound firewall rule is needed — the connector only dials out.

배포를 등록하세요

On the Models tab, map your upstream model id to a public deployment name such as strix-coder. Clients send this deployment name in the model field, not the upstream id.

API 키를 생성하세요

On the Keys tab, create a key. Keys are sk-tok-… Bearer tokens, shown once, and can be scoped to specific deployment name patterns.

코딩 에이전트에서 이를 활용하세요

커넥터가 연결되고 배포가 등록되면, 코딩 에이전트의 대상 주소를 장치의 로컬 주소 대신 Tokios로 지정하세요.

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model strix-coder

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="strix-coder",
    messages=[{"role": "user", "content": "Hello from my laptop"}],
)

Claude Code의 모델 선택기는 claude* ID만 표시하므로 Tokios 배포가 목록에 나타나지 않습니다. 따라서 --model strix-coder를 명시적으로 입력해야 합니다.

한 장치에서 여러 백엔드를 운용할 경우 — 예를 들어 한 모델에는 llama.cpp을, 다른 모델에는 Ollama를 사용한다면 — 단일 업스트림 매칭 절차 대신 커넥터 설정 파일을 통해 여러 경로와 업스트림을 정의하세요. 동일한 엔드포인트 뒤에 여러 배포를 등록하고 전환하는 방법은 모델 라우팅을 참고하세요.

왜 하나의 엔드포인트여야 할까요

에이전트 설정을 수정하지 않고도 백엔드를 교체할 수 있습니다. 같은 장치에서 llama.cpp에서 LM Studio나 Ollama로 전환해도 strix-coder를 대상으로 설정된 모든 에이전트는 정상 작동합니다. 커넥터의 업스트림만 변경하면 되며 클라이언트 설정은 건드릴 필요가 없습니다.
공유 바인딩 주소 대신 범위가 제한된 키를 사용할 수 있습니다. 네트워크 전체에 런타임 포트를 개방하는 대신 특정 배포 패턴에만 적용되는 키를 팀원에게 제공할 수 있습니다.
장치에 인바운드 포트가 필요하지 않습니다. 커넥터는 아웃바운드 연결만 수행하므로 런타임을 0.0.0.0에 바인딩하거나 노트북이나 코딩 에이전트에서 접근하기 위해 별도 터널을 구축할 필요가 없습니다.

Strix Halo에서 Kimi K3을 실행할 수 있나요?

No. Strix Halo’s 128 GB unified memory pool (~90–110 GB available after OS overhead) is far below what Kimi K3 requires. K3 has 2.8 trillion total parameters and needs about 1.4 TB at its native MXFP4 precision (4 bits per parameter) — before block scales, runtime buffers, activations, and KV cache. Even if you could use every byte of the 128 GB pool for weights, you would still be roughly 1.27 TB short. Moonshot 측에서는 K3 실행을 위해 64개 이상의 가속기가 탑재된 슈퍼노드 사용을 권장합니다. 메모리 요구량 산출 및 클러스터 규모 설정에 관해서는 Kimi K3 하드웨어 심층 분석 문서를 참고하시기 바랍니다.

Looking for a model that actually fits Strix Halo? See what to run instead of Kimi K3 — the best coding and general model for 128 GB unified memory.

다음 단계

빠른 시작 가이드

커넥터 설치부터 배포 및 API 키 생성까지 단계별로 안내합니다.

커넥터 설치 방법

모든 플랫폼에서 커넥터를 설치하고 페어링하는 상세 절차를 설명합니다.

Claude Code 활용법

Configure ANTHROPIC_BASE_URL and ANTHROPIC_API_KEY in detail.

커넥터 설정 참고 자료

Serve multiple models from one box with tokios-connector.json.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

Strix Halo 또는 Ryzen AI Max 기반 장치를 모델 엔드포인트로 활용하기

커넥터 실행 후: 엔드포인트 관련 문제점

먼저 스트릭스 할로 박스에 설정을 완료하세요

코딩 에이전트에서 이를 활용하세요

왜 하나의 엔드포인트여야 할까요

Strix Halo에서 Kimi K3을 실행할 수 있나요?

다음 단계

빠른 시작 가이드

커넥터 설치 방법

Claude Code 활용법

커넥터 설정 참고 자료

​커넥터 실행 후: 엔드포인트 관련 문제점

​먼저 스트릭스 할로 박스에 설정을 완료하세요

​코딩 에이전트에서 이를 활용하세요

​왜 하나의 엔드포인트여야 할까요

​Strix Halo에서 Kimi K3을 실행할 수 있나요?

​다음 단계

빠른 시작 가이드

커넥터 설치 방법

Claude Code 활용법

커넥터 설정 참고 자료

커넥터 실행 후: 엔드포인트 관련 문제점

먼저 스트릭스 할로 박스에 설정을 완료하세요

코딩 에이전트에서 이를 활용하세요

왜 하나의 엔드포인트여야 할까요

Strix Halo에서 Kimi K3을 실행할 수 있나요?

다음 단계