현재 확인된 사항과 아직 미결정된 사항
이러한 구분은 매우 중요합니다. K3은 개방형 모델로 소개되지만, 향후 가중치 배포에 대한 약속과 현재 다운로드 가능한 가중치는 별개의 개념입니다
What changed from Kimi K2
K3은 K2의 1T 파라미터 규모를 2.8T로 확장하고, 컨텍스트 길이도 256K에서 1M 토큰으로 늘렸으며 네 가지 주요 측면에서 아키텍처가 변경되었습니다Kimi Delta Attention은 긴 시퀀스 처리가 가능합니다
Kimi Delta Attention (KDA) is a linear-attention mechanism in the Kimi Linear family. Hybrid linear-attention architectures avoid applying full quadratic attention at every layer. That matters most during long prefill, when the server reads a large prompt before it generates the first token. KDA는 단순히 속도 향상을 위한 설정이 아닙니다. 이에 맞는 커널과 캐시 처리 방식도 필요합니다. Moonshot 측은 기존 접두사 캐싱 방식이 KDA와는 잘 호환되지 않으며, vLLM 프리필 캐시 관련 기능이 가중치와 함께 제공될 것이라고 밝혔습니다. 따라서 일반 트랜스포머 가중치를 로드할 수 있는 런타임이라도 자동으로 K3과 호환된다고 볼 수는 없습니다어텐션 리지듀얼은 각 레이어 간 정보 라우팅을 수행합니다
표준 프리노름 잔차 커넥터는 고정된 가중치를 사용해 여러 레이어의 출력값들을 반복적으로 합산합니다. 어텐션 잔차 커넥터를 활용하면 특정 레이어가 이전에 생성된 표현들을 참조하여 재사용할 내용을 선택할 수 있습니다. 어텐션 잔차 커넥터 관련 논문에서는 이러한 방식이 메모리 사용량과 파이프라인 간 통신 부하를 줄이면서도 성능 향상 효과를 대부분 유지하는 블록 구조에 대해 설명하고 있습니다. 이 방식은 토큰 간 어텐션과는 별개인 깊이 방향 라우팅 기법입니다. KDA는 토큰 위치 간 상호작용을 결정하며, AttnRes는 어떤 이전 레이어의 표현 정보가 유용한지 판단합니다스테이블 레이턴트MoE는 모델의 희소성을 높여줍니다
K3는 Stable LatentMoE를 활용하여 16개의 896 전문가들을 적절히 선택해 활용합니다. 희소 활성화 방식을 통해 기존의 밀집형 2.8T 모델에 비해 토큰당 연산량을 줄일 수 있습니다. 다만 저장된 체크포인트의 크기가 활성화된 전문가 수에 맞춰 줄어들지는 않으므로, 클러스터 전체에 모든 전문가들이 반드시 존재해야 합니다. 이러한 규모에서는 전문가 배치와 부하 분산이 처리량에 큰 영향을 미칩니다. Moonshot에서는 분위수 균형 조정 기법 및 전문가 병렬 처리 방식에 대해서도 언급했으나 구체적인 구현 방안은 기술 보고서에서 아직 공개되지 않았습니다양자화 인식 훈련은 배포 이전부터 시작됩니다
Moonshot 측에 따르면 감독 미세조정 단계부터 양자화 인식 훈련을 적용했으며 MXFP4 가중치와 MXFP8 활성화값을 사용했습니다. 이는 배포 이후에 적용된 일반적인 양자화 기법과는 차이가 있습니다. 해당 모델은 서비스 시 사용될 수준의 정밀도를 견딜 수 있도록 훈련되었습니다 MXFP4 방식은 4비트 정밀도로 값을 저장하며 공유 블록 스케일 정보도 포함합니다. 따라서 아래에 제시된 4비트 계산값은 실제 체크포인트 예측값이 아닌 최소값에 해당합니다DGX Spark의 메모리 계산 방식
NVIDIA 측에 따르면 DGX Spark 한 대당 128 GB 용량의 LPDDR5x 통합 메모리가 제공됩니다. 이 메모리는 GPU와 CPU가 공유하며, 128 GB 용량의 가중치 저장소와 별도의 시스템 RAM이 존재하는 구조가 아닙니다 매개변수당 정확히 네 비트로 설정할 때:- MXFP4 블록 스케일링 설정 및 텐서 메타데이터
- 런타임 할당 및 통신 버퍼
- 활성화 값 저장을 위한 임시 작업 공간
- 선택된 컨텍스트에 필요한 KV 상태 또는 순환형 상태 정보
- 멀티모달 요청 처리를 위한 비전 인코더 상태
- DGX OS 및 서비스 실행 프로세스에서 사용되는 메모리
스파크 개수 표
왜 전체 메모리만으로는 부족한가
설령 가상의 16-스파크 클러스터라 할지라도 세 가지 실질적인 문제에 직면하게 됩니다지원되는 토폴로지는 최대 네 개까지만 가능합니다
현재 NVIDIA의 멀티노드 가이드라인에서는 최대 네 대의 DGX Spark 노드 배포만을 지원합니다. 이 512 GB 규모의 클러스터는 약 700B 파라미터 수준의 모델을 처리하는 데 적합합니다. K3의 경우 그 파라미터 수가 네 배에 달합니다. NVIDIA는 두 대, 세 대, 네 대 노드로 구성된 링 및 스위치형 예시만 제공할 뿐, 14 대나 16 대 노드로 구성된 K3 배포 방안은 공개하지 않았습니다.LLM 추론 과정에서는 지속적으로 데이터 동기화가 이루어집니다
각 Spark 노드는 273 GB/s 수준의 로컬 메모리 대역폭과 200 GbE ConnectX-7 네트워크 인터페이스를 갖추고 있습니다. 하지만 200 기가비트급 링크는 프로토콜 오버헤드를 고려했을 때 최대 25 GB/s까지만 데이터 전송이 가능해 로컬 메모리 대역폭에 비해 현저히 낮습니다. 분산형 LLM 추론 시에는 레이어 단위로 연산이 수행되며 부분 결과가 반복적으로 교환됩니다. NVIDIA는 이러한 세밀한 수준의 통신이 노드 수 증가 시 확장 효율을 떨어뜨린다고 명시적으로 경고합니다. 노드를 추가하면 처리 용량은 늘어나지만 생성되는 각 토큰이 더 복잡한 통신 구조를 기다려야 하는 상황이 발생할 수 있습니다.K3은 대규모 슈퍼노드 환경을 목표로 합니다
Moonshot 측은 전문 병렬 처리 기능이 고대역폭 통신 환경 내에서 원활히 작동하도록 64개 이상의 가속기를 갖춘 슈퍼노드 구성을 권장합니다. 이 권고안은 단순히 파일 용량 수용 가능성뿐만 아니라 처리량 및 토폴로지 측면도 고려한 것입니다. Spark 노드는 클라이언트 개발, 프롬프트 설계, 툴 스키마 구성 및 소규모 로컬 모델 실험용으로 유용합니다. 다만 이는 K3 추론 플랫폼의 목표 대상은 아닙니다.Moonshot의 벤치마크 표 해석 방법
Moonshot은 코딩, 에이전트 기반 업무 처리, 추론 및 시각 처리 분야에서 우수한 초기 성능을 보여주었습니다. 대표적인 K3 (max) 점수는 다음과 같습니다:
이 내용들은 벤더 측에서 보고한 결과일 뿐 독립적인 검증이 이루어진 것은 아닙니다. Moonshot 측의 각주를 보면 모델들이 항상 동일한 에이전트 테스트 환경에서 평가되지는 않았음을 알 수 있습니다. K3의 경우 Kimi Code가 사용되었을 수 있고, 다른 모델은 Claude Code를 사용했을 가능성도 있습니다. GPT 모델의 경우 Codex가 활용되었을 수도 있습니다. 테스트 환경의 품질, 도구 정책, 컨텍스트 압축 방식, 그리고 오류 발생 시 대응 방식 등이 에이전트 벤치마크 결과에 큰 영향을 미칠 수 있습니다.
실질적인 해석은 다음과 같습니다: K3은 심도 있게 테스트해볼 만큼 경쟁력이 있다고 보이지만, 공개된 배포 정보만으로는 실제 사용 환경에서도 동일한 결과가 나올지 확인할 수 없습니다. 향후 가중치 파일, 프롬프트 예시, 테스트 환경 정보 및 타사의 평가 결과를 기다려보시기 바랍니다.
API behavior is not drop-in K2
K3은 현재 Moonshot의 OpenAI 호환형 Chat Completions API에서kimi-k3 형태로 제공되고 있습니다. 하지만 이는 K2 설정과 완전히 동일한 것은 아닙니다. 사고 과정 표시 기능은 항상 활성화되어 있으며, reasoning_effort이 thinking 매개변수를 대체합니다. 스트림 처리 시에는 reasoning_content과 content이 분리되어 출력되며, 다중 턴 대화 시에는 어시스턴트 메시지 전체가 그대로 유지되어야 합니다. API 테스트나 자체 호스팅 환경 검증 시 참고할 수 있도록 Kimi K3 모델 페이지에 관련 프로토콜 세부 정보가 모두 기재되어 있습니다.
현재 알려진 배포상의 제한 사항들
Moonshot 측에서는 다음 세 가지 제한 사항을 명시하고 있습니다:- 히스토리 민감성. K3은 사고 과정 기록이 온전히 보존되어야 합니다. 대화 기록이 손상되거나 세션 도중 모델이 변경될 경우 출력 결과가 불안정해질 수 있습니다.
- 지나친 주도성. 복잡하고 모호한 작업을 처리할 때 모델이 예상치 못한 결정을 내릴 가능성이 있습니다. 따라서 명확한 권한 설정, 중단 조건, 편집 범위 지정이 필요합니다.
- 아직 존재하는 사용자 경험 격차. 개별 벤치마크에서는 경쟁력이 있음에도 불구하고, 전반적인 사용자 경험 측면에서는 최고 수준의 상용 모델들에 비해 K3이 여전히 뒤처진다고 Moonshot 측은 설명합니다.
AGENTS.md에 구체적인 경계 조건을 설정하고, 파괴적이거나 외부 시스템과 연동되는 작업 시에는 반드시 승인 절차를 거치도록 하며, 장기간 자동 실행을 신뢰하기 전에 세션 압축 기능도 충분히 테스트해보시기 바랍니다.
가중치가 공개될 때까지 취해야 할 조치들
Moonshot에서 직접 제공하는 아티팩트만을 기다린 뒤, 실제 체크포인트 매니페스트를 바탕으로 다시 계산하여 구매 결정을 내리시기 바랍니다. 유사한 이름을 가진 커뮤니티 리포지토리는 참고하지 마세요. Kimi K3 모델 페이지에는 공식 아티팩트 검증 방법, 지원되는 클러스터에서의 서비스 운영 절차, 그리고 Tokios를 통한 배포 연결 방법 등 단계별 준비 계획이 상세히 설명되어 있습니다. 한편, Kimi K3 대신 실행 가능한 모델 목록에서는 현재 귀하의 하드웨어 환경에 가장 적합한 모델을 확인하실 수 있습니다.공식 출처
- Kimi K3: 오픈 프론티어 인텔리전스 — 배포, 아키텍처, 벤치마크 결과, 이용 가능성 및 제한 사항에 관한 내용입니다
- Kimi K3 API 가이드 — 현재 업스트림 모델 ID, 요청 처리 방식, 시각 처리 기능, 도구 활용법 및 컨텍스트 길이 제한 사항에 대해 설명합니다
- Attention Residuals 논문 — 심층 라우팅 설계 및 확장성 실험에 관한 내용입니다
- DGX Spark hardware overview — 128 GB unified memory, 273 GB/s bandwidth, and ConnectX-7
- NVIDIA’s four-Spark scaling guidance — supported node count, 700B positioning, and communication limits
Kimi K3
공식 가중치가 배포되는 대로 K3의 가용성, 하드웨어 요구 사항, 그리고 Tokios를 통한 배포 경로를 꼭 확인해 주시기 바랍니다.
Kimi 모델군
Compare K3 with the downloadable K2.6 and K2.7-Code you can self-host today.
What to run instead of K3
귀하의 하드웨어에 최적화된 코딩 및 일반용 모델과 각각의 배포 가이드를 제공합니다.
DGX Spark
Spark에 적합한 모델들을 실행하고 이에 맞는 프라이빗 Tokios 엔드포인트를 설정할 수 있습니다.
모델 서비스 제공 및 확장
텐서, 파이프라인, 전문가 병렬 처리 — 이는 슈퍼노드 구성을 위한 필수 요건을 설명하는 용어입니다.
자주 묻는 질문
Kimi K3 모델을 실행하려면 얼마나 많은 VRAM이 필요한가요?
Kimi K3 모델을 실행하려면 얼마나 많은 VRAM이 필요한가요?
About 1.4 TB at the native MXFP4 precision (4 bits per parameter, 2.8T parameters), before block scales, runtime buffers, activations, and KV cache. In practice, a serving cluster needs significantly more — Moonshot recommends 64+ accelerators in a supernode configuration.
Kimi K3 모델을 실행하려면 DGX Spark 노드가 몇 개나 필요한가요?
Kimi K3 모델을 실행하려면 DGX Spark 노드가 몇 개나 필요한가요?
최소한으로는 11개의 Spark 노드만으로도 1.4 TB에 달하는 모델 가중치 용량을 충족할 수 있습니다 (11 곱하기 128 GB는 1,408 GB가 됨). 하지만 이 경우 운영체제, CUDA 오버헤드, KV 캐시 및 추론 상태를 위한 메모리가 전혀 남지 않습니다. 현실적인 예상치는 14개에서 16개 사이입니다. 다만 NVIDIA에서는 최대 4개 노드까지의 Spark 클러스터만을 공식 지원하며 (총 512 GB), K3 모델을 Spark 환경에서 구동하는 토폴로지 역시 공식적으로 지원되지 않습니다.
Why can't MoE models like K3 fit in less memory if only 16 experts activate?
Why can't MoE models like K3 fit in less memory if only 16 experts activate?
MoE의 희소 활성화 방식은 토큰당 연산량을 줄여줄 뿐 체크포인트 저장에 필요한 메모리 크기는 줄이지 못합니다. 따라서 서비스 클러스터 전체에 896개의 모든 전문가 가중치가 반드시 상주해야 합니다. 실제 추론 속도(토큰당 FLOPs)는 약 50B개의 활성화된 파라미터에 의해 결정되지만, 전체 메모리 요구량은 총 2.8T 파라미터의 크기에 의해 결정됩니다.
실제로 어떤 하드웨어에서 Kimi K3을 실행할 수 있나요?
실제로 어떤 하드웨어에서 Kimi K3을 실행할 수 있나요?
Moonshot 측에서는 64개 이상의 가속기를 갖춘 슈퍼노드를 권장합니다. 이는 전문가 수준의 병렬 처리가 효율적으로 이루어질 수 있는 고대역폭 상호연결 환경을 의미합니다. 일반 소비자용 GPU(24 GB), 프로슈머용 통합 메모리(128-192 GB), 심지어 4개 노드로 구성된 Spark 클러스터(512 GB) 역시 K3의 요구사항을 충족하지 못합니다.
Kimi K3의 가중치 파일은 언제 공개되나요?
Kimi K3의 가중치 파일은 언제 공개되나요?
Moonshot 측은 27년 2026월까지 다운로드 가능한 모델 가중치를 제공하겠다고 약속했습니다. 다만 라이선스, 모델 설명서, 체크포인트 목록 및 자체 배포 방법에 관한 내용은 아직 공개되지 않았습니다. vLLM 측은 Moonshot으로부터 KDA 프리픽스 캐싱 관련 기여를 받았음을 확인했으며, 이 기능은 0일에 공식 배포판과 함께 제공될 예정입니다.