Skip to main content
마지막 검증일: 2026-07-21
Kimi K3 is Moonshot AI’s frontier model: 2.8 trillion total parameters, ~50 billion active per token through Stable LatentMoE routing (16 of 896 experts), native visual input, and a 1-million-token context window. Moonshot launched K3 on July 17, 2026 for long-horizon coding, knowledge work, and reasoning. The important local-inference detail is timing: K3 is available now through Kimi’s hosted products and API, but Moonshot says the downloadable weights will arrive by July 27, 2026. The model card, checkpoint size, license, runtime flags, and reproducible self-hosting instructions are not public yet.
현재 모델 가중치가 공개되지 않았으므로 Kimi K3을 자체적으로 호스팅할 수는 없습니다. 예측성만으로 작성된 vllm serve 형태의 명령어나 K3이라는 이름이 붙은 커뮤니티 파일을 공식 모델로 오인해서는 안 됩니다. Moonshot에서 제공하는 공식 리포지토리를 기다려주시기 바랍니다.

​
현재 사용 가능한 것은 무엇인가요?

출처: Kimi K3 출시 공지 및 Kimi K3 API 사용 가이드입니다.

​
Kimi K3 개요

Moonshot 측에서는 아직 기술 보고서나 정확한 체크포인트 파일을 공개하지 않았습니다. 관련 자료가 공개되기 전까지는 모든 세부 파라미터, 저장소 크기, 실행 명령어, 성능 수치 등은 임시적인 정보로 간주해야 합니다

​
Kimi K3을 로컬에서 실행할 수 있나요?

No — not today. Kimi K3 is available now through Moonshot’s hosted API, but the downloadable weights have not shipped yet (promised by July 27, 2026). Even when the weights arrive, K3’s ~1.4 TB weight floor at 4-bit precision rules out every consumer and prosumer setup. Moonshot’s own recommendation is a supernode with 64 or more accelerators. Eight DGX Sparks pool 1 TB of unified memory and still fall 376 GB short. See the DGX Spark memory math for the full calculation.
가중치가 나올 때까지 기다리지 않으시겠어요? 그럴 경우 Kimi K3 대신 실행 가능한 모델을 살펴보세요. Strix Halo부터 4대의 Spark로 구성된 클러스터까지, 사용 중인 하드웨어에 최적화된 코딩 및 범용 모델들이 준비되어 있습니다

​
Kimi K3을 실행하기 위한 하드웨어 요구사항

어떤 소비자용 혹은 프로슈머용 설정 환경에도 K3을 수용할 수 없습니다. 매개변수당 4 비트라는 수치에 따르면, 2.8T 개의 매개변수를 가진 모델은 가중치만으로도 1.4 TB에 달하는 저장 공간이 필요합니다. 이는 마이크로스케일링 메타데이터, 런타임 버퍼, 활성화값, 컨텍스트 상태 등을 포함하지 않은 수치입니다. 규모 측면에서 보면, 여덟 대의 DGX Spark 서버가 합쳐져도 1 TB의 통합 메모리밖에 확보되지 않으며, 이 역시 최소한의 가중치 저장 공간 요구량에 비해 376 GB가 부족한 수준입니다. NVIDIA는 현재 Spark 클러스터를 최대 네 대의 노드까지만 지원하도록 명시하고 있으며, Moonshot 측은 K3 배포를 위해 64 개 이상의 가속기를 갖춘 슈퍼노드 사용을 권장합니다. 전체 계산 과정, 클러스터 사양표, 네트워크 제약 사항은 DGX Spark 메모리 산출법 문서를 참고하시기 바랍니다.
즉시 다운로드 가능한 모델이 필요하신가요? 현재 제공되는 모든 Kimi 모델을 비교해보세요. 현재 Kimi K2.6 및 K2.7-Code 모델은 오픈 웨이트 방식으로 공개되어 있으며 서버급 하드웨어에서도 실행 가능합니다.

​
자체 호스팅 시 아키텍처가 중요한 이유

K3은 단순히 크기가 더 큰 K2 체크포인트가 아닙니다. 배포 계획이 있는 사용자라면 다음 네 가지 변경 사항에 주목해야 합니다.
  • Kimi Delta Attention (KDA) — 이는 혼합형 선형 어텐션 구조로서, 수백만 토큰에 달하는 프롬프트의 사전 처리 비용을 절감해줍니다. 이를 위해서는 특정 커널과 캐시 처리 방식이 필요합니다. Moonshot 측에 따르면 기존의 프리픽스 캐싱 방식은 KDA와 완벽히 호환되지 않으며, vLLM의 사전 처리 캐시 기능 역시 해당 모델 가중치와 함께 제공됩니다. 단순히 가중치만 로드하는 런타임 환경에서는 자동으로 K3 호환성을 갖추지 못합니다.
  • Attention Residuals (AttnRes) — 각 레이어가 고정된 가중치로 모든 레이어의 출력값을 합치는 대신, 특정 레이어에서 유용한 표현값만 선택적으로 추출합니다. Moonshot이 발표한 AttnRes 논문에 따르면 이 방식은 깊은 층을 가진 모델에서 정보 전달의 안정성을 높여줍니다.
  • Stable LatentMoE — 16 of 896 experts route per token. Sparse activation cuts per-token compute, but it does not shrink the stored checkpoint: every expert must stay resident across the serving cluster, which makes fast interconnects a first-order requirement.
  • 네이티브 MXFP4 — 지도 학습 미세조정 단계부터 양자화 인식 훈련이 적용되어 MXFP4 형식의 가중치와 MXFP8 형식의 활성화값이 생성됩니다. 이 형식이 바로 정식 배포 형태이며 커뮤니티에서 제작한 양자화 버전이 아닙니다. 따라서 앞서 언급된 4 비트 수치는 최소 요구치일 뿐 타협안이 아닙니다.

​
K3 API 동작 방식의 유지 사항

현재 Moonshot API를 통해 K3을 테스트하거나 향후 자체 호스팅 런타임을 검증할 예정이라면 다음 프로토콜 사항을 숙지해야 합니다.
  • K3은 항상 추론 기능을 수행합니다. 최상위 레벨의 reasoning_effort: "max" 매개변수를 사용하되 K2.x 버전에서 사용되던 thinking 매개변수는 전송하지 마십시오.
  • 스트리밍 응답에서는 추론 과정이 reasoning_content에, 최종 답변이 content에 각각 포함됩니다.
  • 여러 차례 대화나 툴 루프 상황에서는 보존된 추론 내용과 툴 호출 필드까지 포함하여 전체 어시스턴트 메시지를 재전송해야 합니다. content만 반환할 경우 이후 대화 단계에서 불안정한 상황이 발생할 수 있습니다.
  • max_completion_tokens의 기본값은 131,072이며 최대 1,048,576까지 지정할 수 있습니다.
  • 런치 API에서는 샘플링 값이 고정됩니다. 문슈트에서는 temperature, top_p, n 및 페널티 파라미터를 직접 변경하기보다는 생략할 것을 권장합니다.
  • 공개 이미지 URL은 사용할 수 없습니다. 대신 base64 데이터나 ms://<file-id> 참조값을 전송해 주세요.
현재 요청 스키마에 관해서는 공식 K3 API 가이드를 참고하시기 바랍니다.

​
가중치가 준비되면 Tokios와 K3을 연결해 주세요.

Tokios는 로컬 런타임 뒤에 배치됩니다. 이 도구는 모델을 다운로드하거나 vLLM을 대체하지 않습니다. 문슈트와 런타임 개발진이 지원되는 K3 서비스 경로를 공개하면:
1

공식 아티팩트의 유효성을 검증해 주세요.

해당 리포지토리가 문슈트에 의해 연동되었는지 확인하세요. 모델 카드, 라이선스, 체크포인트 매니페스트, 지원되는 가속기 목록 및 권장 병렬 처리 설정 등을 꼼꼼히 살펴보세요. K2 정보만으로는 이 내용을 추론해서는 안 됩니다.
2

지원되는 클러스터에서 K3을 서비스해 주세요.

공개된 vLLM 혹은 기타 런타임 지침을 따르세요. 로컬 서버가 스트리밍 요청을 처리하고 reasoning_content을 보존하며 자체적인 /v1 API를 통해 다중 턴 툴 루프까지 실행할 수 있는지 확인하시기 바랍니다.
3

Tokios 커넥터를 쌍으로 연결하기

서비스 엔드포인트에 접근 가능한 노드에 커넥터를 배포하세요. dashboard에서 Setup을 열고 Start pairing을 선택한 뒤 일회용 TKS-XXXX-XXXX 클레임 코드를 입력하면 됩니다.
4

배포 작업 등록하기

커넥터가 클러스터의 OpenAI 호환 /v1 기본 URL을 가리키도록 설정하세요. kimi-k3-tunnel과 같은 공개 배포 이름 아래에 업스트림 모델 ID를 등록하면 됩니다.
5

API 키 생성하기

In the Keys tab, click Create key. Copy the sk-tok-… key now — it’s shown only once.
6

엔드포인트 공유 전 테스트하기

Test streaming, long turns, vision, structured output, and tool calls through https://api.tokios.com. Use a dedicated sk-tok-… API key and keep the initial context short while you validate memory use.

​
어디서든 호출 가능하게 만들기

해당 경로가 정상 작동함이 확인되면 클라이언트 측에서는 업스트림 모델 ID 대신 배포 이름을 사용해 호출하면 됩니다.

​
활용 시 주의사항

  • 현재 모델 가중치, 모델 설명서, 라이선스, 기술 보고서, 체크섬 목록 및 자체 호스팅 명령어 등은 아직 준비되지 않았습니다.
  • K3의 벤치마크 결과는 문쇼트 측에서 제공한 자료입니다. 독립적인 재현을 위해서는 모델 가중치와 평가 환경이 공개되어야 합니다.
  • 문쇼트 측은 기존에 보존된 추론 이력이 손실되거나 다른 모델의 세션을 K3으로 전환할 경우 출력 결과가 불안정해질 수 있다고 경고합니다.
  • K3은 복잡하고 긴 작업 수행을 위해 훈련되었으나 지시사항이 모호할 경우 지나치게 적극적으로 행동할 수 있습니다. 따라서 시스템 프롬프트나 AGENTS.md에 명확한 한계선을 설정해주시기 바랍니다.
  • A 1M-token limit is a maximum, not a target. Long contexts increase prefill time, cache storage, and inference cost.

​
자주 묻는 질문

At its native MXFP4 precision (4 bits per parameter), K3’s 2.8T parameters need about 1.4 TB for weights alone — before block scales, runtime buffers, activations, and KV cache. That is roughly 11 DGX Sparks at their 128 GB each, just for the raw weight floor. In practice you need 14-16 Sparks minimum for a hypothetical distributed serving stack, and NVIDIA only documents Spark clusters up to 4 nodes.
Not practically. Eight DGX Sparks give you 1 TB of unified memory — 376 GB short of the weight floor. NVIDIA’s documented Spark topology tops out at 4 nodes (512 GB), and Moonshot targets K3 at supernodes with 64 or more accelerators. For Spark-scale models today, see DGX Spark model compatibility.
문슈트 측은 K3의 가중치 파일이 27월 2026일까지 다운로드 가능하게 제공될 것이라고 밝혔으나, 현재로서는 API 키, 모델 설명서, 체크포인트 파일 등이 공개되지 않은 상태입니다. 가중치 파일과 라이선스가 공개된 이후에야 비로소 이 모델을 “오픈소스”라고 부를 수 있습니다. 현재 기준으로는 Kimi K2.6와 K2.7-Code가 오픈 웨이트 모델이며, Kimi 모델 제품군을 참고하시기 바랍니다.
오늘날에는 Moonshot이 제공하는 호스팅된 API를 통해 업스트림 모델 ID kimi-k3를 활용할 수 있습니다. 가중치 파일이 배포된 이후에는 지원되는 클러스터에서 해당 체크포인트를 실행하고 OpenAI 호환 형식의 /v1 엔드포인트를 호출하면 됩니다. Tokios는 범위가 지정된 API 키를 사용해 이 로컬 엔드포인트를 프록시할 수 있습니다. 자세한 내용은 위의 Connect K3 with Tokios 문서를 참고하시기 바랍니다.
1,048,576 토큰 수준입니다(1M). max_completion_tokens 매개변수의 기본값은 131,072이며 전체 컨텍스트 창 크기만큼 높게 설정할 수 있습니다. 컨텍스트가 길어질수록 프리필 시간, 캐시 저장 공간, 추론 비용이 증가하므로 1M은 목표값이 아닌 최대 허용치일 뿐입니다.
K3 is a Mixture-of-Experts model with 4 key innovations: Stable LatentMoE (16 of 896 experts activate per token, ~50B active), Kimi Delta Attention (hybrid linear attention for efficient million-token prefill), Attention Residuals (depth-wise information routing), and native MXFP4 (quantization-aware training from SFT onward). These are not drop-in compatible with standard transformer serving — KDA in particular needs matching kernels and cache semantics.

DGX Spark 환경에서의 Kimi K3 활용

메모리 사용량 계산법, 클러스터 제약 조건, 실제 배포 사례에 대한 상세 표

Kimi 계열 모델들

K3을 다운로드 가능한 K2.6 및 K2.7 코드와 비교해보고, 오늘 바로 Kimi를 자체적으로 배포해보세요.

What to run instead of K3

Strix Halo부터 4-Spark 클러스터까지 사용 중인 하드웨어 환경에 최적화된 코딩 및 일반 작업용 모델입니다.

모델 서빙 및 확장 방법

프론티어급 규모의 클러스터를 계획하기 전에 텐서 병렬화, 파이프라인 병렬화, 그리고 전문가 병렬화에 대해 먼저 이해해야 합니다.

빠른 시작

커넥터를 연결한 뒤 현재 사용 가능한 로컬 모델을 등록해 보세요.