어디서든 안전하게 Xinference 서버를 활용하세요

Xinference(Xorbits Inference)는 로컬 머신에서 OpenAI 호환 API를 통해 모델을 제공합니다. 기본적으로 이 API는 localhost에서만 응답하므로 별도 설정 없이는 다른 기기에서 접근이 불가능합니다. 대신 localhost에 Xinference를 그대로 두고 Tokios 커넥터를 함께 실행해보세요. 이 커넥터가 https://api.tokios.com에 접속하며, 여러분의 도구나 팀원, 에이전트들은 어디서든 인증된 단일 엔드포인트를 통해 서버에 접근할 수 있습니다.

고급 런타임 환경. Xinference는 복잡한 설정 환경을 위한 모델 제공 프레임워크입니다. 단순히 모델을 배포하고 싶을 뿐이라면 Ollama나 LM Studio부터 시작하는 것이 좋습니다.

Xinference는 OpenAI 호환 Chat Completions API를 제공하므로 Tokios와도 다른 OpenAI 호환 서버와 마찬가지로 연동됩니다. 커넥터는 설정된 /v1 BaseUrl 주소로 요청을 전달하며, 실제 구현 서버가 무엇이든 동일하게 작동합니다. Tokios 문서에서는 Ollama, llama.cpp, vLLM, LM Studio가 주로 다뤄지지만 OpenAI 호환 기능을 갖춘 모든 서비스—Xinference 포함—가 동일한 방식으로 작동합니다.

아웃바운드 전용 방식

평소처럼 로컬 머신에서 Xinference를 실행합니다

Start the local Xinference server — for example with xinference-local — and launch a model through its UI or CLI. The exact startup command and flags can vary by version, so check yours.

xinference-local

일반적으로 Xinference는 9997 포트에서 OpenAI 호환 API를 제공합니다. 설치된 버전의 기본 포트를 꼭 확인하시고 127.0.0.1에만 바인딩하도록 설정하세요. 0.0.0.0 포트로는 절대 전달하지 마시고 라우터에서도 해당 포트를 열지 마십시오.

Tokios 커넥터와 연동하기

Sign in at tokios.com/console, open the Setup tab, and click Start pairing. Tokios shows a one-time claim code like TKS-XXXX-XXXX, valid for about 15 minutes.Xinference가 실행 중인 머신에서 사용 중인 OS에 맞는 설치 명령어를 실행하세요.

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

이미 tokios-connector이 설치되어 있나요? 그럴 경우 해당 코드를 직접 입력해주시면 됩니다.

tokios-connector TKS-XXXX-XXXX

Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

커넥터의 대상 경로로 Xinference의 /v1 API 주소를 지정하세요.

단일 모델만 배포하는 경우 콘솔의 설정 마법사에서 업스트림 기본 URL을 입력하게 되는데, 이때 Xinference의 OpenAI 호환 엔드포인트인 http://127.0.0.1:<port>/v1을 입력하세요(포트 번호는 설치 환경에 맞게 확인하시기 바랍니다). 여러 모델을 tokios-connector.json 설정 파일을 통해 제공하려면 업스트림 BaseUrl 값도 명시적으로 지정해야 합니다.

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:9997/v1"
  }
}

실제 사용 전에 9997이 현재 실행 중인 Xinference 인스턴스와 일치하는지 확인하세요. 다중 모델용 설정 파일 형식에 대한 자세한 내용은 커넥터 설정을 참고하시기 바랍니다.

배포 작업을 등록하세요.

In the Models tab, register the Xinference model and choose a public name — for example, xinference-tunnel. That public name, not the model id you launched in Xinference, is what clients send in the model field.

API 키를 생성하세요.

In the Keys tab, click Create key. Optionally scope it to specific deployments with model-name patterns (comma-separated globs, * for all). Copy the sk-tok-… key now — it’s shown only once.

어디서든 해당 모델을 활용할 수 있습니다.

배포 이름과 API 키만 확보되면 OpenAI 또는 Anthropic 호환 클라이언트를 통해 다른 머신, 팀원의 노트북, 혹은 호스팅된 에이전트에서도 Xinference 모델을 자유롭게 사용할 수 있습니다.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "xinference-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="xinference-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model xinference-tunnel

The model field is always your registered deployment name (xinference-tunnel above), never the model id you launched in Xinference. See Use Claude Code for persisting the environment variables across sessions.

자주 묻는 질문

Xinference는 공식적으로 지원되나요?

Ollama, llama.cpp, vLLM, LM Studio가 Tokios 문서에서 가장 밀접하게 다루어지는 백엔드입니다. 하지만 이 커넥터는 /v1 기본 URL을 통해 OpenAI 호환 채팅 완성 API를 제공하는 모든 서버와 연동 가능하며, Xinference 역시 그러한 기능을 제공하므로 일반적인 OpenAI 호환 업스트림으로서도 작동합니다. 실제 운영 환경에서 사용하기 전에 귀하가 사용 중인 Xinference 버전에서의 작동 여부를 꼭 확인하시기 바랍니다.

스트리밍 기능도 사용할 수 있나요?

네, 기반이 되는 Xinference 모델과 서버가 스트리밍 응답을 지원한다면 가능합니다. "stream": true 값을 설정하면 Tokios가 호출한 API 종류에 따라 OpenAI 또는 Anthropic 형식의 표준 서버 전송 이벤트(SSE)를 반환합니다.

여러 개의 Xinference 모델을 서비스할 수 있나요?

가능합니다. Models 탭에서 추가적인 배포 항목을 등록하거나, tokios-connector.json 설정 파일을 활용해 단일 커넥터 내에 여러 업스트림과 라우팅 규칙을 정의할 수 있습니다. 이는 Xinference에서 여러 모델을 실행할 때 유용합니다. 자세한 내용은 커넥터 설정을 참고하세요.

Xinference를 직접 공개하지 않고도 팀원들과 접근 권한을 공유할 수 있나요?

Yes. Create a separate sk-tok-… key per teammate in the Keys tab, and scope each key to only the deployments they need. Revoking a key stops it from authenticating immediately, so you can cut off access without touching Xinference or the connector.

귀하의 모델은 절대 외부로 유출되지 않으며, 귀하의 엔드포인트는 어디서든 작동합니다.

Xinference는 로컬호스트 환경에서 현재와 동일하게 작동하며, /v1 외에는 어떠한 인바운드 포트나 엔드포인트도 노출되지 않습니다. 커넥터는 오직 아웃바운드 연결만 수행합니다. 그 이후의 인증, 라우팅, 스트리밍 기능은 모두 하나의 엔드포인트로 통합되어 있어, 키를 부여한 어떤 기기나 팀원, 에이전트에서도 자유롭게 호출할 수 있습니다.

지원되는 백엔드 목록

현재 Tokios가 명시적으로 테스트하고 지원하는 로컬 런타임들이 무엇인지 확인해보세요.

API 키 관리

팀원들과 에이전트들을 위해 sk-tok-… API 키를 생성하고 권한을 설정하며 주기적으로 교체할 수 있습니다.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

어디서든 안전하게 Xinference 서버를 활용하세요

아웃바운드 전용 방식

어디서든 해당 모델을 활용할 수 있습니다.

자주 묻는 질문

귀하의 모델은 절대 외부로 유출되지 않으며, 귀하의 엔드포인트는 어디서든 작동합니다.

지원되는 백엔드 목록

API 키 관리

​아웃바운드 전용 방식

​어디서든 해당 모델을 활용할 수 있습니다.

​자주 묻는 질문

​귀하의 모델은 절대 외부로 유출되지 않으며, 귀하의 엔드포인트는 어디서든 작동합니다.

지원되는 백엔드 목록

API 키 관리

아웃바운드 전용 방식

어디서든 해당 모델을 활용할 수 있습니다.

자주 묻는 질문

귀하의 모델은 절대 외부로 유출되지 않으며, 귀하의 엔드포인트는 어디서든 작동합니다.