설정 및 연결
The connector starts but my requests return 503
The connector starts but my requests return 503
A
503 means the Tokios gateway can’t reach an active connector tunnel for the requested model. Check that:- 커넥터 프로세스가 계속 실행 중이며 정상적으로 연결되어 있는지 확인하세요.
- API 요청에 명시된 모델 이름이 콘솔에 등록된 배포 항목과 일치하는지 확인하세요.
- 해당 기기가 페어링 과정에서 승인되었으며 콘솔의 Connectors 탭에 온라인 상태로 표시되는지 확인하세요. (고급 멀티 모델 설정 파일 경로를 사용하는 경우,
ConnectorId및tokios-connector.json에 명시된 업스트림 모델 ID가 콘솔에 표시된 커넥터 정보와 일치하는지도 확인해야 합니다.)
방화벽 포트를 별도로 열어야 하나요?
방화벽 포트를 별도로 열어야 하나요?
아닙니다. 커넥터는 웹소켓을 통해 443 포트로만 Tokios에 아웃바운드 연결을 시도합니다. 따라서 방화벽 설정을 변경할 필요가 없으며, 사용자 기기에서는 인바운드 연결을 기다리는 프로세스도 존재하지 않습니다.
모델과 다른 머신에서 커넥터를 실행할 수 있나요?
모델과 다른 머신에서 커넥터를 실행할 수 있나요?
가능합니다. 업스트림 모델 ID인
BaseUrl을 다른 머신으로 지정해주면 됩니다. 예를 들어 http://192.168.1.50:11434/v1와 같이요. 별도의 설정은 필요하지 않습니다. 커넥터는 자체 설정 파일에 명시된 호스트로만 요청을 전달하며 게이트웨이에서 제공한 URL로는 전달하지 않습니다. 특정 호스트에 업스트림을 고정하려면 AllowedHosts에 해당 호스트를 추가하세요. 이후 BaseUrl에서 다른 주소로 변경하더라도 시작 시 오류가 발생합니다. 자세한 내용은 커넥터 설정을 참고하세요.API 호환성
Tokios는 어떤 API 인터페이스를 지원하나요?
Tokios는 어떤 API 인터페이스를 지원하나요?
총 세 가지입니다: OpenAI Chat Completions(
/v1/chat/completions), Anthropic Messages(/v1/messages), 그리고 OpenAI Responses(/v1/responses)입니다. 여기에 /v1/models와 /v1/messages/count_tokens도 포함됩니다. 게이트웨이는 Messages 및 Responses 요청을 귀하의 모델에 맞게 Chat Completions 형식으로 변환해줍니다. 다만 OpenAI Assistants, Files, 미세 조정처럼 특정 벤더의 백엔드에 의존하는 기능들은 사용할 수 없습니다.스트리밍 응답 기능을 사용할 수 있나요?
스트리밍 응답 기능을 사용할 수 있나요?
가능합니다. 요청 본문에
"stream": true 값을 지정해주기만 하면 됩니다. Tokios는 모든 인터페이스에서 표준 OpenAI/Anthropic 스트리밍 형식에 따라 서버 전송 이벤트를 반환합니다.제 클라이언트는 /v1으로 요청을 보내는데 정상 작동하나요?
제 클라이언트는 /v1으로 요청을 보내는데 정상 작동하나요?
정상 작동합니다. SDK 클라이언트의 경우 기본 URL을
https://api.tokios.com/v1(/v1 접미사 포함)로 설정해주세요. ANTHROPIC_BASE_URL를 사용하는 Anthropic 스타일 클라이언트라면 https://api.tokios.com로 설정하면 됩니다. 이때 /v1는 생략해주세요. 클라이언트가 경로를 자동으로 추가하기 때문입니다. 사용 중인 클라이언트 문서에서 어떤 형식을 요구하는지 확인해보시기 바랍니다.로컬 모델
Tokios가 제 프롬프트나 모델 응답 내용을 저장하나요?
Tokios가 제 프롬프트나 모델 응답 내용을 저장하나요?
기본적으로는 저장하지 않습니다. Tokios는 각 요청을 터널을 통해 로컬 모델로 전달한 뒤 응답 내용을 스트림 형태로 되돌려줍니다. 사용량 페이지에 기록되는 정보는 토큰 수, 지연 시간, 상태 정보 및 식별자뿐이며 응답 본문은 절대 저장되지 않습니다.A workspace admin can turn on request logging in the dashboard’s Settings. Tokios then keeps the request body of each API call for 7 days, encrypted at rest, with attachments stripped and secret-looking text redacted, and shows it under Prompt when you open a request in the request log. Only your workspace’s users can read stored prompts: admins see all of them, members only those sent with their own keys, and someone you shared a key with only if you allowed it for that key. You can turn it off, or delete every stored prompt, at any time. See Request logging.
어떤 모델 백엔드가 지원되나요?
어떤 모델 백엔드가 지원되나요?
OpenAI 호환형 Chat Completions API를 제공하는 모든 서버가 가능합니다. Ollama, llama.cpp, vLLM, LM Studio가 대표적인 예입니다. 업스트림 모델 ID(
BaseUrl)와 해당 URL(/v1)을 tokios-connector.json에 입력해주세요. 자세한 내용은 백엔드를 참고하세요.여러 모델을 동시에 서비스할 수 있나요?
여러 모델을 동시에 서비스할 수 있나요?
네. 하나의 커넥터로
Routes과 Upstreams을 활용해 여러 모델을 서비스할 수 있으며, 각 모델마다 배포 항목(공개 명칭)을 등록할 수 있습니다. 혹은 모델별로 별도의 커넥터를 운영하는 것도 가능합니다. 자세한 내용은 모델 라우팅을 참고하세요.계정 및 결제 정보
Tokios는 무료인가요?
Tokios는 무료인가요?
네, 커뮤니티 플랜은 신용카드 없이도 무료로 이용할 수 있으며 자신의 하드웨어에서 Tokios를 실행하고 평가할 수 있는 모든 기능이 제공됩니다.
API 키를 어떻게 취소하나요?
API 키를 어떻게 취소하나요?
콘솔에서 API Keys 메뉴로 이동한 뒤 해당 키를 찾아 Revoke 버튼을 클릭하면 됩니다. 그러면 해당 키는 즉시 인증 기능이 중단됩니다.