/v1/chat/completions) on your machine. Ollama, llama.cpp, vLLM, and LM Studio all do. The gateway translates each incoming request to Chat Completions and sends it down the tunnel; the connector forwards it to the upstream BaseUrl you set in tokios-connector.json. Point the connector at your server by setting that BaseUrl — including the /v1 segment.
Always include
/v1 in BaseUrl, and use your backend’s OpenAI-compatible endpoint. For Ollama that’s the /v1 API (not the native /api).설정의 용이성
어떤 옵션을 선택하든 Tokios는 동일한 방식으로 연결됩니다. 업스트림
BaseUrl을 (/v1와 함께) 설정하기만 하면 하나의 엔드포인트가 생성됩니다.
This list isn’t exclusive. The connector forwards to any server that exposes an OpenAI-compatible Chat Completions API at a
/v1 base URL — so SGLang, Xinference, TGI, LocalAI, and similar all work too. Ollama, llama.cpp, vLLM, and LM Studio are simply the ones documented most closely here.기본 포트 정보
적절한Upstream 값을 tokios-connector.json 파일에 입력하세요(전체 파일 형식은 커넥터 설정을 확인하시기 바랍니다).
서버에서 사용되는 모델 ID(Ollama의 경우 사용자가
ollama run로 지정한 값)는 커넥터의 Models 및 Routes 항목에 기재해야 합니다. 배포 등록 시에는 공개용 API 이름도 함께 지정해야 합니다.백엔드 관련 세부 정보
Ollama
업스트림:http://127.0.0.1:11434/v1
Ollama는 /v1 주소의 11434 포트에서 OpenAI 호환 API를 제공합니다. 먼저 원하는 모델을 다운로드해 실행하세요. Ollama에 입력한 모델 ID가 바로 커넥터가 서비스하는 업스트림 모델 ID가 됩니다.
llama.cpp
업스트림 모델 ID:http://127.0.0.1:8080/v1
함께 제공되는 OpenAI 호환 서버, llama-server를 실행하세요. 이 서버는 기본적으로 8080 포트에서 대기하며 /v1를 제공합니다:
vLLM
업스트림 모델 ID:http://127.0.0.1:8000/v1
vLLM의 OpenAI 호환 서버는 8000 포트에서 대기합니다. 다음 명령어로 실행하세요:
LM Studio
업스트림 모델 ID:http://127.0.0.1:1234/v1
LM Studio에는 OpenAI 호환 서버가 내장되어 있습니다:
- LM Studio를 열고 Developer (로컬 서버) 탭으로 이동하세요.
- 모델을 로드한 뒤 서버를 시작하면
1234포트에서 대기하게 됩니다.