Skip to main content
Kimi is Moonshot AI’s frontier-scale model family. The current lineup spans three models: Kimi K3, the new 2.8-trillion-parameter flagship (hosted-only until its weights ship), and the downloadable Kimi K2.6 and Kimi K2.7-Code — both 1-trillion-parameter open-weight MoEs you can self-host today on serious hardware. This page is the honest guide to which Kimi you can actually run yourself, and how to reach it from anywhere through Tokios.

​
Kimi 모델군 한눈에 보기

Wondering whether you can run Kimi K3 locally? Short answer: not yet — the weights are not out, and when they arrive the floor is roughly 1.4 TB of memory. The rest of this page covers the Kimi models you can download today.
Kimi의 답변만 필요하고 실행 환경은 중요하지 않다면 Moonshot이 제공하는 호스팅형 API(platform.kimi.com)가 가장 간편한 선택입니다. 반면 Tokios는 사용자가 자신의 하드웨어에 모델 가중치를 직접 설치하길 원할 때 유용합니다. 이 경우 여러 GPU나 대용량 메모리를 갖춘 고성능 시스템이 필요하며, 인증 절차가 적용된 개인용 엔드포인트도 함께 제공됩니다.

​
Kimi를 로컬에서 실행할 수 있을까요?

Honestly: not on a normal desktop. Kimi K2.6 ships already at native INT4 — that’s the small format — and it’s still about 595 GB across 64 checkpoint shards. There is no consumer GPU, and no single datacenter GPU, that holds it. The realistic options: Community re-quantizations trade quality for size but don’t change the conclusion: bartowski/moonshotai_Kimi-K2.6-GGUF ranges from an extreme IQ1_S at ~207 GB up to Q4_0 at ~584 GB, and Unsloth’s dynamic 2-bit build (~340–350 GB) still wants a 350 GB+ combined VRAM/RAM budget. As a rule of thumb, plan for RAM + VRAM roughly equal to the quant size. For most people, Kimi is a cloud/API model — and that’s a fine answer. Run it locally only if you have the rig for it.
이미 자체 하드웨어에서 Kimi를 사용 중이신가요? Tokios에 등록하면 어떤 클라이언트에서도 접근할 수 있습니다. 본인의 하드웨어가 Kimi를 감당할 수 있을지 확신이 없다면 Kimi K3 대신 실행 가능한 모델을 확인해보세요.

​
“Ollama에서 사용하는 Kimi”는 클라우드 기반이지 로컬 실행이 아닙니다.

Kimi K2.x models are in the Ollama library — kimi-k2.6, kimi-k2.7-code, kimi-k2.5 — but every one of them exposes only a :cloud tag. Ollama’s cloud models don’t download; requests are proxied to Ollama’s hosted infrastructure while you stay signed in. So ollama run kimi-k2.6:cloud is convenient, but it is not self-hosting — the weights never touch your machine, and there’s nothing local for a connector to point at. 만약 직접 관리하는 하드웨어에서 Kimi를 실행하고 싶다면 :cloud 태그를 사용하지 말고 아래 안내에 따라 서버 런타임을 통해 모델 가중치를 직접 호스팅하세요. 그러면 Tokios가 타사 클라우드가 아닌 귀하의 배포 환경을 대신 관리해줍니다.

​
자체 하드웨어에서 직접 실행하세요.

문쇼트의 배포 문서는 단일 GPU 환경이 아닌 프로덕션급 런타임 환경을 대상으로 합니다. 여기에는 vLLM, SGLang, KTransformers가 포함됩니다. 다중 GPU 서버에서는 네이티브 INT4 가중치를 활용해 OpenAI 호환 엔드포인트를 제공할 수 있습니다.
서버 내 모든 GPU에 텐서 병렬 처리가 적용됩니다. vLLM은 http://127.0.0.1:8000/v1에서 OpenAI 호환 API를 제공하는데, 이곳이 바로 Tokios 커넥터가 연결되는 지점입니다. 배포 전에 현재 권장되는 설정값과 툴 콜 파서 정보를 모델 카드에서 확인하시기 바랍니다.
Kimi K2.6 모델은 이미 네이티브 INT4 형식으로 배포되고 있습니다. BF16 형식으로 “업그레이드”하려는 시도는 하지 마십시오. BF16 형식으로의 변환 과정에 필요한 저장 공간만 약 2.1 TB에 달하며 실질적인 이득은 전혀 없습니다. 따라서 INT4 형식이 정식으로 지정된 형태입니다.

​
변형 모델 및 사양 정보

아래의 모든 수치는 Hugging Face 및 문쇼트 플랫폼 문서에 기재된 모델 카드에서 추출한 것입니다. 특정 모델을 표준으로 채택하기 전에 반드시 모델 카드를 재확인하시기 바랍니다. 문쇼트 측에서는 매달 새로운 Kimi 모델 버전을 출시하고 있습니다. 출처: moonshotai/Kimi-K2.6, moonshotai/Kimi-K2.7-Code, platform.kimi.com/docs/models, ollama.com/library/kimi-k2.6.
Kimi의 Modified MIT 라이선스는 대부분의 용도에 대해 개방적이지만, 대규모 상업적 배포 시에는 출처 표기 조항이 추가됩니다. 즉, MAU나 수익이 일정 수준을 넘는 경우 제품의 대시보드에 “Kimi K2.6” 문구를 표시해야 합니다. 상업용 제품을 개발하기 전에 모델 설명서에 포함된 LICENSE 파일을 꼭 읽어보시기 바랍니다.

​
주요 기능들

  • 에이전틱 툴 호출 — K2.x 모델은 툴 활용 및 다단계 에이전트 루프 처리에 최적화되어 있습니다. vLLM이나 SGLang을 통해 이 모델을 서비스할 때는 모델 설명서에서 권장하는 툴 호출 파서를 활성화하여 tools 요청이 정상적으로 처리되도록 해야 합니다.
  • 네이티브 멀티모달 입력 — K2.x 시리즈는 텍스트, 이미지, 비디오를 모두 인식할 수 있습니다.
  • Reasoning — K2.x exposes thinking through Moonshot’s thinking API parameter. Kimi K3 replaces it with a top-level reasoning_effort — don’t mix the two conventions; see the Kimi K3 page for K3’s protocol details.
  • 256K 컨텍스트 길이 — 리포지토리 규모의 코딩 작업에도 충분한 길이를 제공하지만, 긴 컨텍스트 배포 시에는 가중치 외에 KV-cache 메모리도 충분히 확보해두는 것이 좋습니다.

​
어떤 Kimi 모델을 사용해야 할까?

  • K2.6은 문쇼트에서 제공하는 범용 다운로드용 주력 모델입니다. 글쓰기, 분석, 대화, 그리고 에이전틱 작업 등 다양한 용도에 적합합니다.
  • K2.7-Code는 코딩 및 에이전틱 작업에 특화된 모델입니다. 자세한 내용은 아래의 전용 섹션을 참고하시기 바랍니다.
  • K2.5는 이전 세대의 주력 모델로, 이미 이를 표준으로 채택해 사용 중이라면 지금도 활용할 수 있습니다.
  • K3는 최신 주력 모델이지만 현재는 호스팅 전용으로 제공되며, 가중치가 공개되면 하드웨어 요구 사양이 한 단계 상향됩니다. 실제 배포 가능 여부와 하드웨어 요구 사항은 Kimi K3을 참고하시고, 하드웨어 사양이 맞지 않는다면 대체 모델 안내도 확인해 보세요.

​
Kimi K2.7-Code는 코딩 에이전트용 모델입니다.

Kimi K2.7-Code (June 2026) is the coding-specialized sibling of K2.6: same 1T-MoE architecture, size, and hardware requirements, but tuned for agentic engineering. It cuts reasoning-token usage roughly 30% versus K2.6 and is the default model in Moonshot’s Kimi Code CLI. If coding is the job, it’s the Kimi to serve. 이 모델은 K2.6과 배포 방식이 완전히 동일합니다. INT4 가중치 파일의 크기도 같고, vLLM/SGLang을 통한 서비스 경로 역시 동일하며 (업스트림 모델 ID만 moonshotai/Kimi-K2.7-Code로 바꾸면 됩니다), Ollama에서는 오직 :cloud 형식만 지원됩니다. Tokios 엔드포인트 뒤에 이 모델을 설정해두면 코딩 에이전트들과 자연스럽게 연동됩니다. 클라이언트 설정 방법은 Claude Code 사용법 및 OpenAI Codex 사용법을 참고해주세요.

​
Tokios 커넥터를 연결하세요.

Kimi가 사용자의 서버에서 실행되고 vLLM 또는 SGLang을 통해 OpenAI 호환 /v1 인터페이스가 제공되면, Tokios 커넥터를 연동해 LAN 내부뿐만 아니라 https://api.tokios.com 환경에서도 Claude Code, Cline 등 호환 클라이언트로 접근할 수 있게 됩니다.
1

Tokios 커넥터를 연동하세요.

Sign in at tokios.com/console, open the Setup tab, and click Start pairing to get a one-time claim code (TKS-XXXX-XXXX). Install and run the connector on the server hosting Kimi:
Linux
그런 다음 approve를 눌러 Setup 또는 Connectors 탭에 있는 기기를 선택합니다.
2

커넥터를 사용자의 런타임에 있는 /v1 API에 연결하세요.

vLLM과 SGLang은 OpenAI 호환 인터페이스를 제공하는데 보통 http://127.0.0.1:8000/v1 형태입니다. 이를 tokios-connector.json에 업스트림 모델 ID로 입력하시면 됩니다. 자세한 내용은 커넥터 설정 가이드를 참고하세요.
3

배포를 등록하세요

In the Models tab, register the model and choose a public deployment name, for example kimi-tunnel. This name — not the upstream model id — is what clients send in the model field.
4

API 키를 생성하세요

In the Keys tab, click Create key. Copy the sk-tok-… key now — it’s shown only once.

​
어디서든 이를 호출할 수 있습니다

The model field is always your registered deployment name (kimi-tunnel above), never the upstream model id. See Use Claude Code and Use OpenAI Codex for full client setup — Kimi K2.7-Code pairs naturally with a coding agent.

​
주의사항

  • Kimi K2.x is a 1T-parameter MoE — all trillion parameters must fit in memory even though only ~32B are active per token. This is a multi-GPU-server or big-RAM-workstation model, not a single-GPU one.
  • Ollama의 kimi-* 태그는 :cloud 전용입니다. 이 태그들은 사용자 환경이 아닌 Ollama 인프라에서만 작동합니다. 커넥터가 접근할 수 있는 로컬 자원은 없습니다. Kimi를 직접 하드웨어에서 구동하려면 vLLM이나 SGLang을 이용해 자체 호스팅하세요.
  • Kimi는 native INT4 형식으로 제공되므로 실행 시 BF16 형식으로 업캐스팅하지 않아도 됩니다.
  • Kimi K3 is hosted-only until its weights arrive (promised by July 27, 2026) — the Kimi K3 page tracks availability and what to verify before self-hosting it.
  • Moonshot에서는 Kimi 버전을 자주 업데이트하며 이전 프리뷰 버전은 점차 지원이 중단됩니다. 표준화 작업 전에 platform.kimi.com/docs/models에서 최신 업스트림 모델 ID를 확인하시기 바랍니다.

Kimi K3

The 2.8T frontier flagship: what’s available now and the hardware reality.

What to run instead of K3

K3을 설치하기 어렵다면? 사용 중인 하드웨어에 최적화된 모델과 그 배포 가이드를 확인해보세요.

어떤 크기의 모델이 자신의 GPU에 적합한가?

The sizing math behind why a 1T MoE needs a server, not a desktop.

홈랩용 GPU 서버

Kimi와 같은 모델을 실행하기 위해 필요한 다중 GPU 시스템을 구축하는 방법.

각 작업에 적합한 로컬 모델은 무엇인가?

이미 보유한 하드웨어에서도 실행 가능한 경량형 모델들.