model 값만 바꿔 모델을 전환하면 됩니다.
API 형식 선택
Tokios API 키를 클라이언트 API 키로 사용합니다. 등록한 배포 이름을 클라이언트 모델 이름으로 사용합니다.
권장 설정 경로
1
검증된 백엔드 하나로 시작
Ollama, llama.cpp, vLLM, LM Studio 중 하나를 먼저 실행합니다. 코딩 에이전트를 추가하기 전에 OpenAI 호환
/v1/chat/completions 엔드포인트를 제공하는지 확인합니다.2
배포 하나 등록
배포에
qwen-coder-local이나 gemma-tunnel처럼 짧고 안정적인 이름을 붙입니다. 이 값은 코딩 에이전트가 model 필드에 전송하는 값입니다.3
에이전트 구성
에이전트가 사용하는 API 형식에 맞는 기본 URL을 설정합니다. OpenAI 스타일 클라이언트는 보통
https://api.tokios.com/v1을 사용하고, Anthropic 스타일 클라이언트는 https://api.tokios.com을 사용합니다.4
작은 작업부터 실행
큰 리팩토링을 보내기 전에 에이전트에게 작은 파일 설명이나 간단한 변경을 요청합니다. 라우팅, 스트리밍, 모델 동작을 확인할 수 있습니다.
비교 항목
로컬 모델로 코딩 에이전트를 테스트할 때는 원시 모델 속도뿐 아니라 전체 워크플로우를 비교합니다.더 빠른 모델이 항상 더 나은 코딩 모델은 아닙니다. 에이전트 워크플로우에서는 지시 따르기와 저장소 이해가 생성 속도만큼 중요합니다.
다음 단계
Claude Code 사용
다음을 구성합니다:
ANTHROPIC_BASE_URL 및 ANTHROPIC_API_KEY.OpenAI Codex 사용
Tokios를 Codex 모델 제공자로
config.toml에 추가합니다.배포 테스트
배포 간 지연 시간, 스트리밍, 작업 동작을 비교합니다.
여러 모델 라우팅
엔드포인트 하나는 유지한 채
model 필드로 모델을 전환합니다.