로컬 모델과 백엔드 선택

첫 번째 배포를 등록하기 전에, 또는 여러 로컬 모델을 비교하려 할 때 이 가이드를 사용하세요. Tokios는 사용자를 대신해 모델을 선택하지 않으며, 각 로컬 모델에 클라이언트가 호출할 수 있는 안정적인 배포 이름을 부여합니다.

모델과 백엔드를 선택했다면 Tokios에 첫 번째 배포를 등록하세요 — 1 인증 엔드포인트가 https://api.tokios.com에 있으며, 약 5분이 소요됩니다.

워크플로부터 시작하세요

워크플로	최적화 대상	좋은 첫 번째 확인 항목
코딩 에이전트	지침 따르기, 리포지토리 추론, 스트리밍 안정성	에이전트에게 소규모 프로젝트를 검사하고 수정하도록 요청하세요
채팅 앱	낮은 지연 시간과 유용한 답변	짧은 프롬프트를 보내고 첫 토큰까지의 시간을 비교하세요
SDK 실험	API 호환성과 예측 가능한 응답	동일한 요청을 `curl`와 사용자의 SDK에서 실행하세요
공유 로컬 엔드포인트	안정성과 명확한 배포 이름	Register one deployment per model and test `/v1/models`

Tokios는 OpenAI 호환 Chat Completions API를 제공하는 백엔드로 요청을 전달합니다. 이미 사용 중인 백엔드부터 시작하세요. 처음부터 선택하는 경우 운영 체제와 하드웨어에 가장 간단한 옵션을 사용하세요.

현재 설정 예시는 백엔드를 참조하세요.

백엔드가 제공하는 모델 ID는 클라이언트가 사용하는 이름일 필요가 없습니다. 각 Tokios 배포에 역할을 설명하는 짧은 공개 이름을 지정하세요.

업스트림 모델 ID	배포 이름	도움이 되는 이유
`qwen2.5-coder`	`coder-local`	코딩 에이전트는 하나의 안정적인 모델 설정을 유지할 수 있습니다
`gemma4:e4b`	`chat-local`	채팅 클라이언트는 백엔드 ID를 알 필요가 없습니다
`mistral-small`	`fast-draft`	이름에 의도된 용도를 표시할 수 있습니다
`muse-glimmer:30b-q4_K_M`	`agent-local`	나중에 양자화 태그를 변경해도 에이전트 클라이언트가 한 이름을 유지하게 합니다

배포 이름은 안정적으로 유지하세요. 나중에 모델을 다른 백엔드나 머신으로 옮기면 모든 클라이언트를 변경하는 대신 배포 또는 커넥터 경로를 업데이트하세요.

한 번에 하나씩 변경하세요. 두 배포를 비교할 때 동일한 프롬프트, 클라이언트, 백엔드 설정, 하드웨어를 유지하세요. 속도와 답변 품질을 모두 기록하세요.

반복 가능한 테스트 흐름을 위해 배포 벤치마킹을 사용하세요