/v1/chat/completions)를 노출하는 모든 모델 서버로 전달합니다. Ollama, llama.cpp, vLLM, LM Studio, MLX Studio, MLX-LM Server 모두 해당됩니다. 게이트웨이는 들어오는 각 요청을 Chat Completions로 변환하여 터널로 전송하고, 커넥터는 업스트림 BaseUrl(tokios-connector.json에 설정한 값)로 전달합니다. 해당 BaseUrl을 설정하여 커넥터를 서버로 지정하세요. 경로에 /v1 세그먼트가 필요합니다.
항상
/v1을 BaseUrl에 포함하고, 백엔드의 OpenAI 호환 엔드포인트를 사용하세요. Ollama의 경우 /v1 API입니다(네이티브 /api가 아님).설정 용이성
어떤 것을 선택하든 Tokios는 동일한 방식으로 연결됩니다. 업스트림
BaseUrl을(/v1과 함께) 설정하면 하나의 엔드포인트가 생성됩니다.
이 목록이 전부는 아닙니다. 커넥터는 어떤 서버가
/v1 기본 URL에서 OpenAI 호환 Chat Completions API를 노출하든 해당 서버로 전달합니다 — 따라서 SGLang, Xinference, LocalAI 등도 모두 작동합니다. Ollama, llama.cpp, vLLM, LM Studio는 여기서 가장 자세히 문서화된 것일 뿐입니다.기본 포트
적합한Upstream을 tokios-connector.json에 추가하세요(전체 파일은 Connector Config 참고):
서버에서 사용하는 모델 ID(Ollama의 경우
ollama run에 입력하는 값)가 커넥터의 Models / Routes에 나열하는 값입니다. 배포 등록 시 공개 API 이름을 부여합니다.백엔드 세부 정보
Ollama
업스트림:http://127.0.0.1:11434/v1
Ollama는 /v1 주소의 11434 포트에서 OpenAI 호환 API를 제공합니다. 먼저 모델을 pull하고 실행하세요. Ollama에 입력하는 ID가 커넥터가 서빙하는 업스트림 모델 ID가 됩니다:
llama.cpp
업스트림:http://127.0.0.1:8080/v1
번들된 OpenAI 호환 서버 llama-server를 실행하세요. 기본적으로 8080 포트에서 대기하며 /v1을 제공합니다:
vLLM
업스트림:http://127.0.0.1:8000/v1
vLLM의 OpenAI 호환 서버는 8000 포트에서 대기합니다. 다음 명령어로 시작하세요:
LM Studio
업스트림:http://127.0.0.1:1234/v1
LM Studio에는 내장 OpenAI 호환 서버가 포함되어 있습니다:
- LM Studio를 열고 Developer (Local Server) 탭으로 이동하세요.
- 모델을 로드하고 서버를 시작하세요.
1234포트에서 대기합니다.
MLX Studio
업스트림:http://127.0.0.1:8000/v1
MLX Studio는 네이티브 macOS 앱(macOS 14.0+ Sonoma, 모든 Apple Silicon M1–M4)으로, vMLX 추론 서버를 래핑합니다. 번들 Python 3.12 환경과 함께 제공되어 터미널, pip, venv가 필요 없습니다. 앱을 다운로드하고, Hugging Face의 mlx-community 저장소에서 모델을 선택하고, 내장 API 서버를 시작하세요.
MLX Studio에는 채팅, 비전, 이미지 생성, 텍스트-음성 변환, 음성-텍스트 변환, 도구 호출이 포함되어 있습니다. 추론 엔진은 JANG 혼합 정밀도 양자화, PagedAttention을 사용한 연속 배치, 추론적 디코딩, KV 캐시 양자화, 접두사 캐싱을 지원합니다. 대화형 API 문서 및 테스트 플레이그라운드가 내장되어 있으며, 메뉴바 모드로 전체 창 없이 빠르게 접근할 수 있습니다.
- MLX Studio를 열고 Model Manager에서 모델을 다운로드하세요.
- 다음으로 Server 탭에서 API 서버를 시작합니다.
8000포트에서 대기합니다.
Lemonade Server
업스트림:http://127.0.0.1:13305/v1
Lemonade Server는 AMD가 지원하는 오픈 소스 추론 서버입니다. 하드웨어를 자동 감지하고 최적의 백엔드(Vulkan, ROCm, CUDA 또는 Metal)를 선택하므로 직접 백엔드를 선택할 필요가 없습니다. AMD Ryzen AI NPU를 지원하는 유일한 백엔드입니다. Windows에서는 MSI, Ubuntu에서는 APT PPA, Arch에서는 AUR로 설치하세요. 자세한 내용은 lemonade-server.ai를 참고하세요.
Lemonade Server는 기본적으로 /v1 주소의 13305 포트에서 OpenAI 호환 API를 노출합니다. Ollama 호환 및 Anthropic 호환 엔드포인트도 지원합니다.
MLX-LM Server
업스트림:http://127.0.0.1:8080/v1
MLX-LM Server는 mlx-lm Python 패키지의 일부이며 Apple Silicon에서 네이티브로 실행됩니다. MLX 프레임워크의 통합 메모리 아키텍처를 제로카피 데이터 경로로 사용하므로, 모델 가중치가 CPU 및 GPU와 동일한 메모리 풀에 위치합니다. 관리해야 할 별도 VRAM이 없습니다. 패키지를 설치하고 Hugging Face의 mlx-community 모델로 서버를 시작하세요:
8080 포트에서 대기하며 /v1에서 OpenAI 호환 Chat Completions API를 노출합니다. 연속 배치, 도구 호출, 구조화된 출력, 프롬프트 캐싱을 지원합니다. 사용 가능한 양자화는 4비트(기본값), 8비트, BF16입니다.