어디서든 안전하게 SGLang 서버를 활용하세요

SGLang은 OpenAI 호환 서버를 구동하며, Tokios는 OpenAI Chat Completions API를 지원하는 모든 서버로 요청을 전달합니다. 따라서 SGLang은 범용적인 OpenAI 호환 업스트림 모델 ID 역할을 합니다. SGLang을 로컬호스트에서 실행하고 그 옆에 Tokios 커넥터를 구동하면, 커넥터가 https://api.tokios.com으로 연결되며 여러분의 도구나 팀원, 에이전트들은 어디서든 인증된 단일 엔드포인트를 통해 접속할 수 있습니다.

고급 런타임 환경. SGLang은 고성능 서비스 제공을 위해 설계된 Python 기반 GPU 서버로, 일반 데스크톱 도구보다 설정 절차가 복잡합니다. 보다 간편한 방법을 원하신다면 Ollama나 LM Studio부터 시작해보세요.

SGLang은 OpenAI 호환 Chat Completions API를 제공하므로 Tokios와도 다른 OpenAI 호환 서버와 마찬가지로 연동됩니다. 커넥터는 사용자가 지정한 /v1 BaseUrl 주소로 요청을 전달하며, 해당 API를 구현한 서버가 무엇인지는 중요하지 않습니다. Ollama, llama.cpp, vLLM, LM Studio가 Tokios에서 가장 자세히 다루는 백엔드이지만(자세한 내용은 지원되는 백엔드 참조), SGLang 역시 동일한 방식으로 작동합니다. 문제가 발생한다면 Tokios보다는 SGLang 자체의 OpenAI 호환성 측면일 가능성이 높습니다.

아웃바운드 전용 방식

평소처럼 SGLang을 로컬에서 실행합니다

SGLang을 127.0.0.1에 그대로 두세요. 루프백 범위보다 넓게 바인딩하지 마세요. 그런 다음 OpenAI 호환 서버를 실행합니다:

python -m sglang.launch_server --model-path <path-or-repo-id> --port 30000

기본 --port 값 및 SGLang이 127.0.0.1 혹은 0.0.0.0에 바인딩되는지 여부는 버전에 따라 다를 수 있습니다. 이미 루프백으로 설정되어 있지 않다면 명시적으로 루프백으로 지정해주세요.

Tokios 커넥터와 연동하기

Sign in at tokios.com/console, open the Setup tab, and click Start pairing. Tokios shows a one-time claim code like TKS-XXXX-XXXX, valid for about 15 minutes.SGLang이 실행 중인 머신에서 사용 중인 OS에 맞는 설치 명령어를 실행하세요:

Windows

irm https://tokios.com/downloads/install/windows | iex; tokios-install -Code 'TKS-XXXX-XXXX'

macOS

curl -fsSL https://tokios.com/downloads/install/macos | sh -s -- --code TKS-XXXX-XXXX

Linux

curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX

이미 tokios-connector이 설치되어 있나요? 그럴 경우 코드를 직접 입력해주시면 됩니다:

tokios-connector TKS-XXXX-XXXX

Back in the console, approve the device on the Setup or Connectors tab. The connector’s token is delivered over the tunnel once approved — you never see it on screen or paste it into a file.

커넥터가 SGLang의 /v1 API를 가리키도록 설정하세요

SGLang’s server speaks the same OpenAI Chat Completions surface Tokios expects. For the basic single-model path, the console’s Setup wizard lets you enter the upstream manually — use http://127.0.0.1:30000/v1. If you’re serving multiple models through a tokios-connector.json config, set the upstream BaseUrl explicitly, including /v1:

{
  "Upstream": {
    "BaseUrl": "http://127.0.0.1:30000/v1"
  }
}

다중 모델용 파일 형식에 대한 자세한 내용은 커넥터 설정을 참고하세요.

배포 작업을 등록하세요

In the Models tab, register the SGLang model and choose a public name — for example, sglang-tunnel. That public name, not SGLang’s local model id, is what clients send in the model field.

API 키를 생성하세요

In the Keys tab, click Create key. Optionally scope it to specific deployments with model-name patterns (comma-separated globs, * for all). Copy the sk-tok-… key now — it’s shown only once.

SGLang에는 자체 서버 요청 시 인증 토큰이 필요한 --api-key 실행 옵션이 있습니다. 이는 커넥터와 SGLang 간의 루프백 연결을 보호하는 보조 수단으로 활용될 수 있으나, Tokios를 통해 접속하는 사용자 인증은 sk-tok-… 키가 담당합니다. 사용 중인 SGLang 버전에서 해당 옵션이 모든 엔드포인트에 적용되는지 혹은 /v1 경로에만 적용되는지, 그리고 정확한 문법은 무엇인지 확인해보세요.

어디서든 이 기능을 활용할 수 있습니다

배포 이름과 API 키를 확보했다면, 다른 기기나 팀원의 노트북, 혹은 호스팅된 에이전트에서도 OpenAI나 Anthropic과 호환되는 모든 클라이언트가 귀하의 SGLang 모델에 접근할 수 있습니다.

curl https://api.tokios.com/v1/chat/completions \
  -H "Authorization: Bearer sk-tok-YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "sglang-tunnel",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokios.com/v1",
    api_key="sk-tok-YOUR_KEY",
)

response = client.chat.completions.create(
    model="sglang-tunnel",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

export ANTHROPIC_BASE_URL=https://api.tokios.com
export ANTHROPIC_API_KEY=sk-tok-YOUR_KEY
claude --model sglang-tunnel

The model field is always your registered deployment name (sglang-tunnel above), never SGLang’s local model id. See Use Claude Code for persisting the environment variables across sessions.

자주 묻는 질문

Tokios에서 SGLang을 공식적으로 지원하나요?

Ollama, llama.cpp, vLLM, LM Studio가 Tokios에서 가장 상세히 문서화된 백엔드입니다. 지원되는 백엔드를 확인해보세요. 하지만 커넥터는 업스트림 뒤에 어떤 서버가 있는지 확인하지 않고 사용자가 설정한 BaseUrl으로 요청을 전달합니다. SGLang의 실행 서버 역시 다른 백엔드들과 동일한 OpenAI 채팅 완성 기능을 제공하므로 작동 방식도 같습니다. 만약 SGLang의 OpenAI 호환성이 특정 상황에서 다른 백엔드와 다르더라도 이는 SGLang 측의 문제일 뿐 Tokios와는 무관합니다.

스트리밍 기능도 사용할 수 있나요?

물론입니다. "stream": true을 설정하면 Tokios가 호출된 API 형식에 따라 OpenAI 또는 Anthropic 포맷의 표준 서버 전송 이벤트(SSE)를 반환합니다.

SGLang을 통해 하나 이상의 모델을 서비스할 수 있나요?

Register additional deployments in the Models tab, or use a tokios-connector.json config file to define multiple upstreams and routes for a single connector — useful if you run more than one SGLang process. See Connector config.

SGLang을 직접 노출하지 않고도 팀원들과 접근 권한을 공유할 수 있나요?

Yes. Create a separate sk-tok-… key per teammate in the Keys tab, and scope each key to only the deployments they need. Revoking a key stops it from authenticating immediately, so you can cut off access without touching SGLang or the connector.

귀하의 모델은 절대 외부로 유출되지 않으며, 생성된 엔드포인트는 어디서든 사용 가능합니다.

SGLang은 현재와 동일하게 로컬호스트에서 작동하며, /v1 외에는 어떠한 인바운드 포트나 엔드포인트도 노출되지 않습니다. 커넥터는 아웃바운드 연결만 수행합니다. 그 이후의 인증, 라우팅, 스트리밍 기능은 모두 단일 엔드포인트로 제공되며, API 키를 부여받은 모든 기기나 팀원, 에이전트가 이를 호출할 수 있습니다.

지원되는 백엔드

명명된 백엔드와 기본 업스트림 포트의 전체 목록을 확인해보세요.

API 키

팀원 및 에이전트들을 위해 sk-tok-… API 키를 생성하고 권한을 설정하며 주기적으로 갱신할 수 있습니다.

하드웨어와 호환성

런타임 서빙과 연결

클라이언트 또는 앱 연결

비교

어디서든 안전하게 SGLang 서버를 활용하세요

아웃바운드 전용 방식

어디서든 이 기능을 활용할 수 있습니다

자주 묻는 질문

귀하의 모델은 절대 외부로 유출되지 않으며, 생성된 엔드포인트는 어디서든 사용 가능합니다.

지원되는 백엔드

API 키

​아웃바운드 전용 방식

​어디서든 이 기능을 활용할 수 있습니다

​자주 묻는 질문

​귀하의 모델은 절대 외부로 유출되지 않으며, 생성된 엔드포인트는 어디서든 사용 가능합니다.

지원되는 백엔드

API 키

아웃바운드 전용 방식

어디서든 이 기능을 활용할 수 있습니다

자주 묻는 질문

귀하의 모델은 절대 외부로 유출되지 않으며, 생성된 엔드포인트는 어디서든 사용 가능합니다.