model 값을 변경하여 모델을 전환합니다.
API 형식 선택
Tokios API 키를 클라이언트 API 키로 사용합니다. 등록한 배포 이름을 클라이언트 모델 이름으로 사용합니다.
권장 설정 경로
1
하나의 검증된 백엔드로 시작
Ollama, llama.cpp, vLLM 또는 LM Studio와 같은 로컬 백엔드를 먼저 실행합니다. 코딩 에이전트를 추가하기 전에 OpenAI 호환
/v1/chat/completions 엔드포인트를 제공하는지 확인합니다.2
하나의 배포 등록
배포에
qwen-coder-local 또는 gemma-tunnel과 같이 짧고 안정적인 이름을 부여합니다. 이 값은 코딩 에이전트가 model 필드에서 전송하는 값입니다.3
에이전트 구성
에이전트가 사용하는 API 형식에 대한 기본 URL을 설정합니다. OpenAI 스타일 클라이언트는 일반적으로
https://api.tokios.com/v1을 사용하고, Anthropic 스타일 클라이언트는 https://api.tokios.com을 사용합니다.4
작은 작업부터 실행
대규모 리팩토링을 보내기 전에 에이전트에게 작은 파일을 설명하거나 사소한 변경을 요청합니다. 이를 통해 라우팅, 스트리밍 및 모델 동작을 확인합니다.
비교 항목
로컬 모델로 코딩 에이전트를 테스트할 때, 원시 모델 속도뿐만 아니라 전체 워크플로우를 비교합니다.더 빠른 모델이 항상 더 나은 코딩 모델은 아닙니다. 에이전트 워크플로우에서는 생성 속도와 마찬가지로 지시 따르기 및 저장소 이해도가 중요합니다.
다음 단계
Claude Code 사용
다음을 구성합니다:
ANTHROPIC_BASE_URL 및 ANTHROPIC_API_KEY.OpenAI Codex 사용
다음에서 Tokios를 Codex 모델 제공자로 추가합니다:
config.toml.배포 벤치마킹
배포 간 지연 시간, 스트리밍 및 작업 동작을 비교합니다.
여러 모델 라우팅
하나의 엔드포인트를 유지하고
model 필드로 모델을 전환합니다.