어디서나 안전하게 Unsloth Studio 사용

Unsloth Studio는 로컬 모델을 실행, 학습 및 내보내기 위한 오픈 소스 코드 없는 웹 UI입니다. Studio에서 모델을 실행하면 머신에서 OpenAI 호환 API를 제공합니다. 기본값은 http://127.0.0.1:8888입니다. 이는 로컬에서만 작동합니다. Studio를 머신에 그대로 두고 옆에서 Tokios 커넥터를 실행하세요: 커넥터는 https://api.tokios.com으로 아웃바운드 연결을 설정하며, 도구, 팀원 또는 에이전트는 어디서나 하나의 인증된 엔드포인트를 호출할 수 있습니다.

초보자 친화적. Unsloth Studio는 클릭 몇 번으로 사용할 수 있는 UI입니다 — 모델을 선택하고 실행하면 바로 제공됩니다. Ollama 및 LM Studio와 함께 로컬 모델을 Tokios 엔드포인트 뒤에 배치하는 가장 쉬운 방법 중 하나입니다.

아웃바운드 전용 방식

Unsloth Studio에서 모델 실행

Studio를 시작하고 UI를 통해 모델을 로드합니다. Studio는 다음 명령어로 시작됩니다:

unsloth studio -H 0.0.0.0 -p 8888

모델이 실행되면 Studio는 포트 8888에서 OpenAI 호환 API를 노출합니다. 네트워크에 열지 않고 머신에 그대로 두세요 — 네트워크에 열 필요가 없습니다.

Tokios 커넥터 페어링

여기서 tokios.com/console에서 로그인하고 Setup 탭을 연 후 Start pairing을 클릭합니다. Tokios는 일회성 페어링 코드를 약 15분간 유효한 TKS-XXXX-XXXX와 같이 표시합니다.Studio가 실행 중인 머신에서 OS에 맞는 설치 원라인을 실행합니다:

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

이미 tokios-connector가 설치되어 있나요? 대신 코드를 직접 전달합니다:

tokios-connector TKS-XXXX-XXXX

콘솔로 돌아가 장치를 approve합니다. Setup 또는 Connectors 탭에서 할 수 있습니다. 승인 후 커넥터 토큰이 터널을 통해 전달됩니다 — 화면에 표시되지도 않고 파일에 붙여넣지도 않습니다.

커넥터를 Studio의 /v1 API로 연결

기본 단일 모델 경로의 경우 Studio의 OpenAI 호환 엔드포인트를 업스트림으로 입력합니다: http://127.0.0.1:8888/v1. tokios-connector.json 구성을 통해 여러 모델을 제공하고 있다면 업스트림 BaseUrl을 명시적으로 설정합니다:

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:8888/v1"
  }
}

전체 다중 모델 파일 형식은 커넥터 구성을 참조하세요.

배포 등록

다음으로 Models 탭에서 모델을 등록하고 공개 이름을 선택합니다 — 예를 들어 studio-tunnel. 클라이언트가 model 필드에 보내는 것은 Studio 내부의 모델 ID가 아니라 이 공개 이름입니다.

API 키 생성

마지막으로 Keys 탭에서 Create key를 클릭합니다. 선택적으로 모델 이름 패턴(쉼표로 구분된 글로브, *은 전체)으로 특정 배포에 범위를 제한할 수 있습니다. sk-tok-… 키를 지금 복사하세요 — 한 번만 표시됩니다.

어디서나 사용

배포 이름과 API 키가 있으면 OpenAI 또는 Anthropic 호환 클라이언트는 Studio에서 실행 중인 모델에 접근할 수 있습니다 — 다른 머신, 팀원의 노트북 또는 호스팅된 에이전트에서 가능합니다.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "studio-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="studio-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model studio-tunnel

이 model 필드는 항상 등록한 배포 이름(위의 studio-tunnel)이며, Studio 내부의 모델 ID는 아닙니다. Studio에서 모델을 파인튜닝하고 GGUF로 내보냈나요? 동일한 엔드포인트 흐름은 파인튜닝 제공을 참조하세요.

FAQ

스트리밍이 작동하나요?

네. "stream": true를 설정하면 Tokios는 호출한 API 표면에 따라 OpenAI 또는 Anthropic 형식의 표준 서버 전송 이벤트(SSE)를 반환합니다.

Studio에서 학습한 모델을 사용할 수 있나요?

네. Studio에서 동일한 방식으로 실행하거나 GGUF로 내보내어 Ollama 또는 llama.cpp를 통해 제공합니다 — 어느 쪽이든 Tokios 배포로 등록합니다. 파인튜닝 제공을 참조하세요.

Studio를 직접 노출하지 않고 팀원과 액세스를 공유할 수 있나요?

네. 팀원마다 별도의 sk-tok-… 키를 Keys 탭에서 생성하고 각 키를 필요한 배포에만 범위를 제한합니다. 키를 취소하면 즉시 인증이 중단되므로 Studio나 커넥터에 손대지 않고도 액세스를 차단할 수 있습니다.

모델은 머신을 떠나지 않습니다 — 엔드포인트는 어디서나 작동합니다

Unsloth Studio는 인바운드 포트 없이 머신에서 계속 실행되며 네트워크에 노출되는 것은 없습니다. 커넥터는 아웃바운드 연결만 설정합니다. 그 이후의 모든 것 — 인증, 라우팅, 스트리밍 — 은 키를 제공하기로 선택한 어떤 머신, 팀원 또는 에이전트에서도 호출할 수 있는 단일 엔드포인트입니다.

빠른 시작

커넥터를 페어링하고 처음 모델을 끝까지 등록합니다.

파인튜닝 제공

학습한 모델을 사설 API 엔드포인트로 변환합니다.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

어디서나 안전하게 Unsloth Studio 사용

아웃바운드 전용 방식

어디서나 사용

FAQ

모델은 머신을 떠나지 않습니다 — 엔드포인트는 어디서나 작동합니다

빠른 시작

파인튜닝 제공

​아웃바운드 전용 방식

​어디서나 사용

​FAQ

​모델은 머신을 떠나지 않습니다 — 엔드포인트는 어디서나 작동합니다

빠른 시작

파인튜닝 제공

아웃바운드 전용 방식

어디서나 사용

FAQ

모델은 머신을 떠나지 않습니다 — 엔드포인트는 어디서나 작동합니다