Skip to main content
Pick by selection criteria, not by whichever name is trending this week: native tool-calling support if you’re running an agent, context window versus your VRAM budget, license, and how well the model follows instructions. For DeepSeek, the current checkpoint to evaluate is deepseek-ai/DeepSeek-V4-Flash-0731; use R1 distills only when your hardware cannot support the V4 weight floor.
특정 모델의 명칭과 버전 번호는 빠르게 변경됩니다. 이번 분기에 최고 성능을 보이는 모델도 몇 달 내에 대체될 수 있습니다. 아래 표들은 모델 계열과 선택 기준을 파악하는 출발점으로 삼으시고, 관련 링크를 참고하여 하드웨어를 구매하기 전에 각 계열에서 현재 최적의 버전이 무엇인지 다시 확인하시기 바랍니다.

​
작업에 적합한 모델 계열을 선택하세요

현재 Tokios는 게이트웨이를 통해 임베딩 서비스를 제공하지 않습니다. API 기능은 채팅 및 메시지 관련 엔드포인트만을 지원합니다. 위에 표시된 임베딩 관련 항목은 Tokios 배포 기능을 통하지 않고 사용자 백엔드에서 직접 로컬로 실행할 모델을 선택하기 위한 것입니다.
For the DeepSeek-V4-Flash-0731 checkpoint, start with the local hardware guide. Its 1M-token specification does not mean every local configuration has enough KV-cache capacity for that context length.

​
에이전트용 모델을 선택하는 방법

코딩 에이전트나 기타 도구 활용형 클라이언트들은 일반 채팅 UI보다 더 까다로운 요구사항을 가집니다. 다음 세 가지 기준을 활용해 보세요:
  1. 네이티브 도구/함수 호출 기능. 에이전트 루프 작동을 위해서는 모델이 클라이언트가 해석할 수 있는 구조화된 도구 호출 정보를 반환해야 합니다. DeepSeek-V4-Flash-0731은 현재 이 작업 부하에 적합한 DeepSeek 모델입니다. 실제 사용할 서빙 런타임, 추론 강도 및 채팅 인코딩 방식을 기준으로 반드시 검증해 보시기 바랍니다.
  2. 최소 32–64K, 가능하면 128K 이상의 컨텍스트 윈도우. 에이전트는 여러 단계에 걸쳐 파일 내용, 변경 사항 및 도구 출력 정보를 축적하므로 컨텍스트 용량이 작으면 금방 꽉 차게 됩니다. 모델 가중치 외에도 목표 컨텍스트 길이에 맞는 KV 캐시 용량을 충분히 확보해야 합니다. 자세한 내용은 GPU 또는 통합 메모리에 모델 최적화하기를 참고하세요.
  3. 명령어 이해 능력, 구조화된 출력 및 허용적인 라이선스. Apache-2.0 계열의 Qwen3 및 gpt-oss 모델들은 라이선스 측면에서도 도입이 용이합니다.
Clients like Roo Code hard-require native tool calling. If the underlying model doesn’t support it, the client can’t parse its responses into actions and will retry the same step instead of making progress — this is a model limitation, not a Tokios or connector issue.

​
하드웨어에 맞게 모델 최적화하기

적합한 모델 계열을 선택하는 것만으로는 부족합니다. 실제로 필요한 컨텍스트 길이에서 모델이 사용 가능한 VRAM 또는 통합 메모리 용량 내에 들어가야 합니다. 매개변수 수와 양자화 수준에 따른 크기 추정치는 GPU 또는 통합 메모리에 모델 최적화하기에서 확인하실 수 있습니다. 배포 시 사용할 백엔드 결정 및 등록 후 배포명 지정과 같은 워크플로우 관련 사항은 로컬 모델 및 백엔드 선택하기를 참고하세요.

​
일단 하나를 선택하셨다면

Tokios는 사용자를 대신해 모델을 선택해주지 않습니다. 다만 사용자가 실행 중인 모델에 대해 어디서든 호출할 수 있는 안정적인 배포 엔드포인트를 제공할 뿐입니다.

배포 항목을 등록하세요

선택한 모델을 공개된 이름과 API 키가 부여된 Tokios 배포 항목으로 전환할 수 있습니다.

후보 항목들을 비교해보세요

최종적으로 사용할 배포 항목을 결정하기 전에 두 개 이상의 배포 항목을 나란히 벤치마크해보는 것이 좋습니다.