메인 콘텐츠로 건너뛰기
A local LLM (also called a self-hosted LLM) is an open-weight model you run on your own hardware — a laptop, a workstation GPU, a Mac, or a homelab server — instead of calling a hosted API you don’t control. This section covers the open-weight families that run well locally and how to pick between them. Tokios는 모델을 선택하거나 배포, 미세 조정하지 않습니다. 사용자가 직접 모델을 로컬에서 실행하면 Tokios가 해당 모델을 https://api.tokios.com에 안정적이고 인증된 엔드포인트로 변환해줍니다. 이 엔드포인트는 OpenAI나 Anthropic과 호환되는 모든 클라이언트에서 접속 가능하며 인바운드 포트나 VPN 설정도 필요하지 않습니다.

​
세 단계로 모델 선택하기

1

작업에 맞는 모델 고르기

코딩 에이전트, 일반 대화, 추론, 시각 처리, 혹은 엣지/CPU 환경용 작업인가요? 작업 유형에 따라 적합한 모델군이 빠르게 좁혀집니다. 각 작업별로 필요한 기준을 자세히 알아보려면 어떤 작업에 어떤 로컬 모델이 적합한가?를 참고하세요.
2

하드웨어 사양에 맞게 선택하기

필요한 컨텍스트 길이를 처리할 수 있을 만큼 VRAM이나 통합 메모리에 들어맞는 모델이어야 효과적입니다. GPU에 적합한 모델 크기를 계산하는 방법은 어떤 크기의 모델이 GPU에 적합한가?에서 확인하시고, 크기와 품질의 균형을 맞추는 방법은 양자화를 참조하세요.
3

라이선스 확인하기

라이선스 종류는 다양합니다. Apache-2.0 및 MIT 라이선스는 제약이 적은 편이며, Llama Community, Gemma, NVIDIA Open Model License 등은 별도 조건이 존재합니다. 모델을 활용하기 전에 어떤 점을 살펴봐야 하는지 알려면 모델 카드 읽는 법을 참고하세요.

​
모델 계열들과 현재 상태

아래에 나열된 각 계열별로 태그, 크기, 하드웨어 호환성 표, 설정 방법이 기재된 전용 페이지가 존재합니다. 모델 버전 업데이트가 매우 빈번하므로 이 표는 참고용일 뿐이며, 최신 배포 정보는 각 페이지를 확인해주시기 바랍니다.
Last verified: October 2026.
“현재”란 사용자가 직접 다운로드하여 실행할 수 있는 최신 오픈웨이트 모델을 의미합니다. 일부 최신 모델은 DeepSeek-V4.1-Flash, GLM-5.3, 그리고 대규모 Kimi 및 MiniMax MoE 모델처럼 다중 GPU 하드웨어가 필요합니다. 각 모델 페이지에서는 현재 다운로드 가능한 모델, 서버가 필요한 모델, 그리고 아직 준비되지 않은 모델들을 안내하고 있습니다.
직접 호스팅할 수 있는 최신 대규모 모델이 필요하신가요? DeepSeek-V4.1-Flash 로컬 하드웨어 페이지에서는 2개의 RTX PRO 6000, 2개의 DGX Spark, 그리고 2개의 Strix Halo 구성에 대해 지원 수준 및 메모리 한계를 비교해줍니다.

​
본인의 용도에 맞는 모델을 선택해보세요

일반 대화 및 에이전트 활용

Qwen3.6, Llama, Gemma, gpt-oss는 다용도로 활용하기 좋은 모델들입니다. Qwen3.8-27B은 가장 최신 Qwen 릴리스로 현재는 vLLM/SGLang에서만 지원됩니다. Qwen3.6은 검증된 가장 간편한 선택지이며, Muse Glimmer는 24 GB 용량의 그래픽 카드에서도 안정적으로 작동하는 에이전트 전용 모델입니다.

코딩 작업

Qwen3-Coder, Mistral의 Devstral, 그리고 GLM은 저장소 규모의 코딩 작업 및 에이전트 활용에 적합합니다.

추론 및 에이전트 활용

현재 DeepSeek의 추론, 코딩 에이전트, 툴 호출 기능을 활용하려면 DeepSeek-V4.1-Flash부터 시작하시기 바랍니다. 하드웨어 사양이 제한적이라면 R1 distills를 사용하시면 됩니다. 워크스테이션 하드웨어에서 프론티어급 에이전틱 코딩을 수행하려면 Muse Spark Open이 오픈 웨이트 분야에서 선도적입니다.

비전 및 멀티모달 처리

Qwen3-VL과 Gemma 4은 텍스트, 이미지, 영상을 처리할 수 있으며, Qwen3-VL부터 사용해보시는 것을 권장합니다. MiMo V2.6은 3가지 변형 모델 모두에서 네이티브 오디오 입력을 추가합니다.

소형 기기, 엣지 환경 및 CPU용 모델

Gemma의 E2B, Phi-4-mini, Granite, 그리고 Mistral의 Ministral 모델들은 노트북 및 엣지 박스에서도 실행 가능합니다.

포맷 및 하드웨어

어떤 가중치 포맷 — GGUF, MLX, NVFP4, AWQ — 이라면 사용 중인 GPU나 Mac에서 작동하는지 확인해보세요.

​
원하는 포맷을 선택한 뒤

Tokios는 사용자를 대신해 모델을 선택해주지 않습니다. 다만 사용자가 실행 중인 모델에 대해 어디서든 호출 가능한 안정적이고 인증된 엔드포인트를 제공합니다.

빠른 시작 가이드

커넥터를 연결하고 배포를 등록한 뒤 첫 번째 API 키를 생성하는 전체 과정을 안내합니다.

모델과 백엔드 선택하기

사용 중인 워크플로우, 백엔드, 그리고 배포 명명 규칙에 적합한 모델을 고르시면 됩니다.