로컬 모델과 백엔드 선택하기

첫 번째 배포를 등록하기 전이나 여러 로컬 모델을 비교할 때 이 가이드를 사용하십시오. Tokios는 사용자를 대신해 모델을 선택하지 않으며, 각 로컬 모델에 클라이언트가 호출할 수 있는 안정적인 배포 이름을 부여합니다.

모델과 백엔드를 선택했으면 Tokios에 첫 번째 배포를 등록하십시오 — 인증된 엔드포인트 1개를 https://api.tokios.com에서 사용할 수 있으며, 약 5분 소요됩니다.

워크플로부터 시작하기

워크플로	최적화 대상	권장 첫 점검
코딩 에이전트	지시 따르기, 리포지토리 추론, 스트리밍 안정성	에이전트에게 소규모 프로젝트를 검사하고 수정하도록 요청하십시오
채팅 앱	낮은 지연 시간과 유용한 답변	짧은 프롬프트를 보내고 첫 토큰까지의 시간을 비교하십시오
SDK 실험	API 호환성과 예측 가능한 응답	동일한 요청을 `curl`과 사용 중인 SDK에서 실행하십시오
공유 로컬 엔드포인트	안정성과 명확한 배포 이름	모델당 배포를 하나씩 등록하고 다음을 테스트하십시오: `/v1/models`

Tokios는 OpenAI 호환 Chat Completions API를 제공하는 백엔드로 요청을 전달합니다. 이미 사용 중인 백엔드부터 시작하십시오. 처음부터 선택하는 경우 운영 체제와 하드웨어에 맞는 가장 간단한 옵션을 사용하십시오.

현재 설정 예시는 백엔드를 참조하십시오.

백엔드가 제공하는 모델 ID가 클라이언트에서 사용하는 이름과 같을 필요는 없습니다. 각 Tokios 배포에 역할을 설명하는 짧은 공개 이름을 지정하십시오.

업스트림 모델 ID	배포 이름	도움이 되는 이유
`qwen2.5-coder`	`coder-local`	코딩 에이전트는 하나의 안정적인 모델 설정을 유지할 수 있습니다
`gemma4:e4b`	`chat-local`	채팅 클라이언트는 백엔드 ID를 알 필요가 없습니다
`mistral-small`	`fast-draft`	이름에 의도된 용도를 표시할 수 있습니다
`muse-glimmer:30b-q4_K_M`	`agent-local`	나중에 양자화 태그를 변경해도 에이전트 클라이언트가 한 이름을 유지하게 합니다

배포 이름은 안정적으로 유지하십시오. 나중에 모델을 다른 백엔드나 머신으로 옮기면 모든 클라이언트를 변경하는 대신 배포 또는 커넥터 경로를 업데이트하십시오.

한 번에 하나씩 변경하십시오. 두 배포를 비교할 때는 동일한 프롬프트, 클라이언트, 백엔드 설정, 하드웨어를 유지하십시오. 속도와 답변 품질을 모두 기록하십시오.

반복 가능한 테스트 흐름이 필요하면 배포 테스트하기를 활용하십시오.