Strix Halo 또는 Ryzen AI Max 머신을 모델 엔드포인트로 만들기

​

실행 후: 엔드포인트 격차

• 다른 곳에서 접근 가능한 OpenAI 호환 엔드포인트. 런타임은 기본적으로 Strix Halo 기기의 127.0.0.1에 바인딩됩니다. 노트북이나 다른 곳에서 실행되는 코딩 에이전트에서 접근하려면 0.0.0.0에 바인딩하거나 포트를 열거나 터널을 구축해야 하며, 각각 자체 설정이 필요하고 클라이언트별 인증이 없습니다.
• API 형식. Claude Code는 Anthropic Messages 형식을 사용하고, llama.cpp, Ollama, LM Studio는 OpenAI Chat Completions 형식을 사용합니다. 두 형식을 연결하려면 보통 작은 프록시를 작성하고 유지보수해야 합니다.
• 도구를 가리킬 안정적인 장소. 동일한 기기에서 llama.cpp, Ollama, LM Studio 사이를 전환하거나 로드된 모델을 바꾸더라도, 해당 기기와 통신하는 모든 클라이언트를 재구성할 필요가 없어야 합니다.

​

Strix Halo 기기에 설정하기

llama-server -m your-model.gguf --port 8080

ollama run llama3.1

lemonade pull your-model
lemonade run your-model

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

​

코딩 에이전트에서 사용하세요

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model strix-coder

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="strix-coder",
    messages=[{"role": "user", "content": "Hello from my laptop"}],
)

​

왜 하나의 엔드포인트인가

• 에이전트 설정을 건드리지 않고 백엔드를 교체. 같은 기기에서 llama.cpp에서 LM Studio나 Ollama로 전환해도 strix-coder를 대상으로 하는 모든 에이전트가 계속 작동합니다. 커넥터의 업스트림만 변경하면 되지 클라이언트는 변경하지 않습니다.
• 공유 바인딩 주소 대신 범위 제한 키. 런타임의 포트를 네트워크에 개방하는 대신 특정 배포 패턴으로 제한된 키를 팀원에게 제공하세요.
• 기기에 인바운드 포트 없음. 커넥터는 아웃바운드 연결만 수행하므로 노트북이나 코딩 에이전트에서 접근하기 위해 런타임을 0.0.0.0에 바인딩하거나 자체 터널을 유지할 필요가 없습니다.

​

Strix Halo에서 Kimi K3을 실행할 수 있나요?

​

다음 단계