https://api.tokios.com/v1에 연결하고 sk-tok-… API 키와 등록된 배포 이름을 입력하면 두 앱 모두 로컬 모델을 호출할 수 있습니다. host.docker.internal 설정이나 포트 포워딩, VPN도 전혀 필요하지 않습니다.
사전 요구 사항
커넥터를 설치하고 페어링하세요
모델과 함께
tokios-connector을 실행한 뒤 콘솔에서 승인해주세요.배포를 등록하세요
모델에 공개용 이름을 지정하세요. 예:
gemma-tunnel 이 이름이 클라이언트가 전송하는 model 값이 됩니다.API 키를 생성하세요
Create an
sk-tok-… key on the Keys tab, optionally scoped to this deployment.사용 중인 백엔드가 지원되는지 확인하세요
Ollama, llama.cpp, vLLM, 그리고 LM Studio는 모두 해당 커넥터를 통해 정상적으로 작동합니다.
Tokios는
GET /v1/models 기능을 구현하고 OpenAI API 인터페이스를 표준화하므로 AnythingLLM이나 Dify가 제공자를 검증할 때(모델 목록 확인, 엔드포인트 검사 등) OpenAI 자체을 사용할 때와 동일하게 검증이 성공합니다.제공자로서 Tokios를 추가하세요
- AnythingLLM
- Dify
1
오픈 LLM 제공자 설정 메뉴
AnythingLLM에서 Settings → LLM Provider 메뉴로 이동한 뒤 제공자 목록에서 Generic OpenAI을 선택하세요. 실제 메뉴 경로와 제공자 명칭은 버전에 따라 다를 수 있으니 사용 중인 버전을 확인하시기 바랍니다.
2
기본 URL을 설정하세요
In Base URL, enter:
3
API 키를 설정하세요
In API Key, paste your Tokios key:
4
모델 명칭을 설정하세요
In Model name (also called Chat Model Name in some AnythingLLM versions), enter your Tokios deployment name, for example
gemma-tunnel — not the upstream model id your backend uses locally.5
토큰 및 컨텍스트 창 크기 설정
Set the Token context window field to match your model’s context length — the exact field label varies by version, and some versions require this value before they’ll save the provider.
6
저장 후 테스트 진행
제공자 정보를 저장한 뒤 워크스페이스에서 메시지를 전송하여 AnythingLLM이 Tokios를 통해 모델에 접속 가능한지 확인하세요.
No more host.docker.internal
AnythingLLM과 Dify는 대개 Docker에서 실행되며, 모델 역시 앱과는 별개의 머신이나 컨테이너에서 구동되는 경우가 많습니다. 이러한 분리 구조 때문에 자체 호스팅 환경에서는 여러 문제가 발생합니다. 컨테이너 내부의 localhost이 호스트에 접근하지 못하거나, host.docker.internal이 플랫폼마다 다르게 해석되며, 별도 머신에 있는 모델은 포트 포워딩이나 VPN 설정이 별도로 필요합니다.
AnythingLLM이나 Dify를 https://api.tokios.com/v1에 연결하면 이러한 문제가 완전히 해결됩니다. 앱이 어떤 컨테이너, 호스트, 네트워크에서 실행되든 엔드포인트는 항상 공개되고 안정적입니다. 모델 옆에 위치한 커넥터만 아웃바운드 접근 권한만 있으면 되며, 인바운드 포트를 열 필요는 전혀 없습니다.
이제 연결이 완료되었습니다
이제 모델은 AnythingLLM이나 Dify가 어디서 실행되든 접근 가능합니다. 동일한 배포 설정과 API 키를 사용하면 다른 OpenAI 또는 Anthropic 호환 클라이언트에서도 문제없이 이용할 수 있습니다.호환 가능한 클라이언트들
Tokios와 연동 가능한 클라이언트 목록과 각각에 필요한 기본 URL을 확인해보세요.
API 키
각 애플리케이션이나 팀원마다 별도의 범위가 지정된 키를 생성할 수 있으며, 커넥터 설정을 변경하지 않고도 접근 권한을 취소할 수 있습니다.