https://api.tokios.com/v1로 설정하고 API 키로 sk-tok-… 키를 입력합니다. Open WebUI는 연결을 확인하고 모델 드롭다운을 채우기 위해 /v1/models를 호출합니다. Tokios는 해당 엔드포인트를 구현하므로 확인이 성공하고 등록한 배포가 즉시 표시됩니다.
사전 요구 사항
연결을 추가하기 전에 다음을 준비하십시오.커넥터 페어링 완료
모델 옆에
tokios-connector를 설치하고 페어링하십시오.모델 등록 완료
Open WebUI에서 볼 수 있는 모델에 대한 배포(공개 이름)를 등록하십시오.
API 키 생성 완료
해당 배포에 범위가 제한된
sk-tok-… 키를 생성하십시오.지원되는 백엔드
로컬 백엔드(Ollama, llama.cpp, vLLM, LM Studio)가 실행 중인지 확인하십시오.
Tokios를 OpenAI 연결로 추가하기
1
Connections 설정 열기
Open WebUI에서 Admin Settings → Connections로 이동하십시오. 정확한 메뉴 경로와 라벨은 Open WebUI 버전에 따라 약간 다를 수 있으므로 실행 중인 버전을 기준으로 확인하십시오.
2
OpenAI 연결 추가
해당 OpenAI 섹션에서 Add Connection을 클릭하십시오(때로는 + 버튼으로 표시됨).
3
Tokios URL 및 키 입력
연결 필드를 다음과 같이 설정하십시오.연결을 저장하십시오.
- URL:
https://api.tokios.com/v1 - Key:
sk-tok-YOUR_KEY
모델이 자동으로 표시됩니다
Open WebUI는 입력한 URL에 대해GET /v1/models를 호출하여 연결을 확인하고 모델 선택기를 채웁니다. Tokios는 /v1/models를 구현하여 키의 범위에 있는 배포를 반환하므로, 연결이 성공적으로 확인되고 배포 이름(예: gemma-tunnel)이 수동 입력 없이 Open WebUI의 모델 드롭다운에 표시됩니다.
이는 보편적이지 않으므로 주목할 가치가 있습니다. 일부 커스텀 OpenAI 호환 엔드포인트는 /v1/models를 완전히 생략하여, 채팅 완성(chat completions)은 작동하더라도 Open WebUI의 연결 확인이 실패하거나 모델 목록이 비어 있게 만듭니다. Tokios는 /v1/models를 API 표면의 일급 구성 요소로 구현하여 이러한 실패 모드를 방지합니다.
드롭다운에서 원하는 배포를 선택하고 채팅을 시작하십시오. Open WebUI가 보내는 모든 요청은 키를 Bearer 토큰으로 사용하여 터널을 통해 로컬 백엔드로 https://api.tokios.com/v1/chat/completions로 전송됩니다.
호스팅된 UI, 홈 모델
이것이 해결하는 일반적인 시나리오는 다음과 같습니다. VPS, 컨테이너 호스트, 또는 모델을 실행하는 기기가 아닌 다른 기기에서 Open WebUI를 실행 중이며, 해당 모델의 포트를 인터넷에 노출하지 않고 모델에 접근하고 싶습니다. Tokios 커넥터는 모델을 실행하는 기기에서 외부로만 연결하므로 다음이 필요하지 않습니다.- 원격 Open WebUI가 접근할 수 있도록 백엔드를
0.0.0.0에 바인딩(예:OLLAMA_HOST=0.0.0.0) - 컨테이너화된 Open WebUI를 호스트 또는 다른 기기의 모델과 연결하기 위해
host.docker.internal이나 컨테이너 네트워킹 트릭을 사용 - 두 기기 간에 인바운드 포트를 열거나 VPN 설정
https://api.tokios.com/v1과 통신하며, sk-tok-… 키로 인증됩니다. Tokios는 요청을 터널을 통해 모델 옆에서 실행 중인 커넥터로 라우팅하며, 커넥터는 전체 과정에서 로컬호스트에 머무릅니다.
문제 해결
Open WebUI에서 "could not connect"를 표시하거나 연결 확인이 실패함
Open WebUI에서 "could not connect"를 표시하거나 연결 확인이 실패함
URL에
/v1이 포함되어 있는지(https://api.tokios.com/v1, 도메인만 아님) 및 키가 sk-tok-로 시작하는지 확인하십시오. 401은 키가 누락되었거나 유효하지 않음을 의미하며, 403은 키가 요청하는 모델에 범위가 설정되지 않았음을 의미합니다. 전체 오류 목록은 API endpoints를 참조하십시오.연결은 확인되지만 모델 드롭다운이 비어 있음
연결은 확인되지만 모델 드롭다운이 비어 있음
연결은 확인되지만 채팅 요청이 실패함
연결은 확인되지만 채팅 요청이 실패함
커넥터가 Connectors 탭에서 온라인인지 확인하십시오.
503 응답은 커넥터가 오프라인이거나 동시성 한도를 초과했음을 의미합니다.이제 다른 모든 곳에서 활용하기
Open WebUI가 Tokios를 통해 모델과 통신하면, 동일한 배포와 키가 다른 모든 OpenAI 또는 Anthropic 호환 클라이언트에서 작동하며 클라이언트별 추가 설정이 필요하지 않습니다.호환 클라이언트
다른 클라이언트의 기본 URL 및 키 설정을 확인하십시오.
API 키
동일한 Open WebUI 인스턴스를 사용하는 팀원을 위해 별도의 범위 제한 키를 생성하십시오.