메인 콘텐츠로 건너뛰기
SillyTavern은 프롬프트, 샘플링, 캐릭터에 대해 세밀한 제어가 가능한 로컬 모델용 파워유저/롤플레잉 프론트엔드입니다. Chat Completion 백엔드는 모든 커스텀 OpenAI 호환 엔드포인트를 가리킬 수 있습니다. 소스를 Custom (OpenAI-compatible) 으로 설정하고 https://api.tokios.com/v1 및 sk-tok-… 키를 입력하면, SillyTavern이 자체 하드웨어에서 실행 중인 모델을 구동합니다.

​
전제 조건

커넥터 페어링 완료

SillyTavern이 도달할 모델 옆에 tokios-connector를 설치하고 페어링합니다.

모델 등록 완료

해당 모델에 대해 배포(공개 이름)를 등록합니다.

API 키 생성 완료

해당 배포에 범위가 한정된 sk-tok-… 키를 생성합니다.

지원되는 백엔드

로컬 백엔드(Ollama, llama.cpp, vLLM, LM Studio)가 실행 중인지 확인합니다.

​
SillyTavern을 Tokios에 연결

1

API Connections 열기

다음에서 plug 아이콘을 클릭하여 API Connections 패널을 엽니다.
2

Chat Completion → Custom (OpenAI-compatible) 선택

다음에서 API를 Chat Completion으로 설정한 다음, Chat Completion Source를 Custom (OpenAI-compatible) 으로 설정합니다.
3

엔드포인트 및 키 설정

커스텀 엔드포인트 필드를 다음 내용으로 채웁니다:
주소는 https://api.tokios.com/v1을 사용합니다. SillyTavern이 자체적으로 /chat/completions를 추가하므로, 이를 붙이지 마십시오. 연결이 실패하고 /v1을 생략했다면, 이를 추가하는 것이 첫 번째 시도 사항입니다.
4

모델로 배포를 입력하고 연결

모델 ID로 공개 배포 이름을 Models 탭에서 등록한 이름으로 입력하십시오(예: gemma-tunnel). 그런 다음 Connect를 클릭합니다. 이는 백엔드의 로컬 모델 ID가 아니라 SillyTavern이 model 필드에서 전송하는 값입니다.
다음 값을 교체하십시오. gemma-tunnel은 등록한 배포 이름으로, sk-tok-YOUR_KEY는 자체 키로 교체하십시오. 둘 다 공유 설정 파일에 커밋하지 마십시오.

​
파워유저 프론트엔드, 자체 하드웨어의 모델

SillyTavern은 프롬프팅 및 샘플링에 대한 심층 제어를 제공하며, Tokios는 실행 중인 모델에 안정적이고 인증된 엔드포인트를 제공합니다. 모델 옆의 커넥터가 Tokios로 아웃바운드 연결을 설정하고, SillyTavern(동일한 머신 또는 다른 머신에서)은 https://api.tokios.com/v1 키와 함께 sk-tok-…을 호출합니다. 프롬프트와 캐릭터는 사용자의 것이며, 커넥터의 아웃바운드 터널만 Tokios와 통신합니다.

​
문제 해결

SillyTavern이 전송한 API 키가 누락되었거나, 형식이 잘못되었거나, 취소되었습니다. 추가 공백 없이 전체 sk-tok-… 키를 붙여넣었는지 확인하고, Keys 탭에서 상태를 확인하십시오.
모델 값이 등록된 배포와 일치하지 않거나, 기본 URL이 잘못되었습니다. 모델 이름이 Models 탭의 공개 이름과 일치하고, 기본 URL이 https://api.tokios.com/v1이며, 끝에 /chat/completions가 붙지 않았는지 확인하십시오.
해당 배포의 커넥터가 오프라인 상태이거나 동시성 한도에 도달했습니다. Connectors 탭을 확인하십시오 — 커넥터는 Online로 표시되어야 하며, 이를 실행하는 머신이 여전히 가동 중이고 도달 가능해야 합니다.

​
다음 단계

호환 클라이언트

기타 OpenAI 및 Anthropic 호환 클라이언트의 기본 URL 및 키 설정을 참조하십시오.

API 키

팀원 및 에이전트를 위한 sk-tok-… 키를 생성, 범위 지정 및 순환합니다.