메인 콘텐츠로 건너뛰기
LibreChat는 커스텀 엔드포인트를 통해 OpenAI 호환 API에 접근하며, 이는 librechat.yaml에 정의됩니다. endpoints.custom 아래에 항목을 추가하여 baseURL을 https://api.tokios.com/v1로, apiKey를 sk-tok-… 키로, models에는 Tokios 배포 이름을 지정하면, 해당 모델의 포트가 외부에 노출되지 않아도 LibreChat에서 로컬 모델과 대화할 수 있습니다.

​
사전 요구 사항

파일 librechat.yaml을 수정하기 전에 다음 사항을 준비하십시오.

커넥터 페어링 완료

모델과 함께 tokios-connector를 설치하고 페어링하십시오.

모델 등록 완료

LibreChat에서 사용하려는 모델에 대한 배포(공개 이름)를 등록하십시오.

API 키 생성 완료

해당 배포에 스코프가 지정된 sk-tok-… 키를 생성하십시오.

지원되는 백엔드

로컬 백엔드(Ollama, llama.cpp, vLLM, LM Studio)가 실행 중인지 확인하십시오.

​
Tokios를 커스텀 엔드포인트로 추가하기

1

librechat.yaml 열기

LibreChat 배포의 루트에 있는 LibreChat의 librechat.yaml 구성 파일을 열거나(또는 생성하거나) 확인하십시오. 정확한 기본 파일 경로는 릴리스에 따라 다를 수 있으므로 확인하십시오.
2

커스텀 엔드포인트 항목 추가

다음과 같이 endpoints.custom 아래에 Tokios 블록을 추가하고 baseURL을 Tokios로 지정하며 models.default에는 공개 배포 이름(예: gemma-tunnel)을 설정하십시오.
models.default에는 Ollama, llama.cpp, vLLM 또는 LM Studio의 로컬 모델 ID가 아닌 Models 탭에서 등록한 배포 이름(들)을 나열해야 합니다. 정확한 YAML 키 이름과 중첩 구조는 LibreChat 릴리스 간에 변경될 수 있으므로 설치 환경에 맞게 키를 확인하십시오.
3

환경 변수로 API 키 제공

변수 TOKIOS_API_KEY(또는 위에 참조한 이름)에 sk-tok-… 키를 LibreChat의 .env 파일에 설정하고, librechat.yaml에는 직접 붙여넣지 마십시오.
.env
4

LibreChat 재시작

LibreChat 서버를 재시작하여 librechat.yaml을 다시 로드하십시오. 이제 LibreChat의 엔드포인트 선택기에 Tokios 엔드포인트가 표시되어야 합니다.
실제 sk-tok-… 키를 librechat.yaml이나 버전 관리 시스템에 커밋하지 마십시오. 대신 환경 변수에서 참조하십시오.

​
모델 목록에서 모델 가져오기

LibreChat의 커스텀 엔드포인트는 일부 클라이언트처럼 배포를 자동으로 발견하지 않습니다. models 블록의 librechat.yaml 필드가 선택기에 표시되는 항목의 기준이 됩니다. 사용 가능한 모든 Tokios 배포를 models.default 아래에 나열하십시오. LibreChat 버전이 커스텀 엔드포인트에 대해 모델을 동적으로 가져오는 기능을 지원하는 경우, GET /v1/models에 대해 baseURL를 호출하여 이를 수행합니다. Tokios는 /v1/models를 구현하여 키가 스코프가 지정된 배포를 반환하므로, 가져오기 기반 구성도 작동합니다. 정확한 토글(예: models.fetch) 및 동작에 대해서는 현재 릴리스의 문서를 확인하십시오.

​
호스팅된 UI, 홈 모델

이 구성이 해결하는 일반적인 시나리오는 다음과 같습니다. VPS 또는 컨테이너 호스트에서 LibreChat을 실행하고 있으며, 해당 기기의 포트를 인터넷에 노출하지 않고도 가정용 기기 또는 워크스테이션에 있는 모델에 접근하고 싶습니다. Tokios 커넥터는 모델이 실행되는 기기에서 외부로만 연결을 시도하므로, 다음 작업을 수행할 필요가 없습니다.
  • 원격 LibreChat 인스턴스가 접근할 수 있도록 백엔드를 0.0.0.0에 바인딩(예: OLLAMA_HOST=0.0.0.0)할 필요가 없습니다.
  • 가정용 라우터 또는 방화벽에 인바운드 포트를 열거나 구멍을 뚫을 필요가 없습니다.
  • 두 기기 사이에 VPN 또는 리버스 프록시를 설정할 필요가 없습니다.
호스팅 위치와 관계없이 LibreChat은 https://api.tokios.com/v1 키로 인증된 sk-tok-…과 통신합니다. Tokios는 요청을 터널을 통해 모델 옆에서 실행 중인 커넥터로 라우팅하며, 커넥터는 전체 과정에서 로컬호스트에 머무릅니다.

​
문제 해결

파일 librechat.yaml이 LibreChat이 기대하는 경로에 있는지(정확한 구성 발견 경로는 버전마다 다름) 확인하고, 수정 후 서버를 재시작했는지 확인하십시오.
LibreChat이 보낸 API 키가 누락되었거나, 형식이 잘못되었거나, 취소되었습니다. apiKey에서 참조하는 환경 변수에 추가 공백 없이 전체 sk-tok-… 키가 포함되어 있는지 확인하고, Keys 탭에서 상태를 확인하십시오.
키는 존재하지만 models에 나열된 배포에 스코프가 지정되지 않았거나, 계정이 정지되었습니다. Keys 탭에서 키의 모델 패턴을 확인하십시오.
LibreChat이 보낸 모델 값이 등록된 배포와 일치하지 않습니다. Ollama/llama.cpp/vLLM/LM Studio 로컬 모델 ID가 아닌 Models 탭의 공개 이름과 정확히 일치하는지 확인하십시오.
해당 배포의 커넥터가 오프라인 상태이거나 동시성 한도에 도달했습니다. Connectors 탭을 확인하십시오. 커넥터는 Online로 표시되어야 하며, 실행 중인 기기는 여전히 실행 중이고 접근 가능해야 합니다.

​
이제 다른 모든 곳에서 활용하기

LibreChat이 Tokios를 통해 모델과 통신하면, 동일한 배포와 키가 다른 모든 OpenAI 또는 Anthropic 호환 클라이언트에서도 작동하며, 클라이언트별 추가 설정이 필요하지 않습니다.

호환 클라이언트

다른 클라이언트의 기본 URL 및 키 설정을 확인하십시오.

API 키

동일한 LibreChat 인스턴스를 사용하는 팀원을 위해 별도의 스코프 키를 생성하십시오.