KV 캐시 및 컨텍스트 길이

모델이 프롬프트를 처리하고 응답을 생성하는 동안 구축하는 대화의 실행 중인 메모리가 바로 KV 캐시이며, 모델 자체의 크기는 변하지 않아도 더 긴 컨텍스트가 더 많은 VRAM을 차지하는 이유입니다. 이 페이지에서는 KV 캐시가 무엇이며 왜 이러한 방식으로 증가하는지 설명합니다. 이를 구축하고 사용하는 프리필(prefill) 및 디코드(decode)의 메커니즘에 대해서는 추론 작동 방식을 참조하십시오.

​

KV 캐시의 실제 의미

“KV”는 키/값(key/value) — 모델이 지금까지 처리한 모든 토큰에 대해 계산하는 내부 표현입니다. 모델은 새로운 토큰마다 이러한 표현을 처음부터 다시 계산하는 대신, KV 캐시에 저장하여 재사용하며 시퀀스에 토큰이 추가될 때마다 새 항목을 추가합니다. 이것이 생성을 실질적으로 가능하게 하는 핵심 요소입니다. 캐시가 없으면 응답의 500번째 토큰을 생성할 때마다 그 앞에 있는 499개의 토큰을 매번 다시 처리해야 합니다. 캐시가 있으면 모델은 각 새 토큰에 대해 새로운 작업만 수행하고 이미 계산된 내용은 재사용하면 됩니다. 캐시는 프리필 단계(모델이 프롬프트를 읽을 때)에 구축되며, 디코드 단계(모델이 응답을 생성할 때)에는 토큰 하나당 하나의 항목으로 확장됩니다. 두 단계가 어떻게 작동하는지 확인하려면 추론 작동 방식을 참조하십시오.

​

컨텍스트가 길어질수록 메모리 비용이 증가하는 이유

KV 캐시는 활성 컨텍스트에 있는 동안 토큰 하나당 레이어 하나당 하나의 항목을 보유합니다. 즉, 캐시 크기는 다음과 비례하여 증가합니다.

• Context length — 처리 중인 토큰이 많을수록 캐시 항목도 많아집니다. 128K 토큰 대화는 4K 토큰 대화보다 훨씬 더 많은 캐시 상태를 보유합니다.
• Batch size — 여러 요청을 동시에 처리하는 경우, 각 요청마다 자체 KV 캐시가 필요하므로 총 캐시 메모리는 동시 요청 수에 따라 곱해집니다.

이 메모리는 모델 가중치 위에 추가되는 것이며, 가중치를 대체하는 것이 아닙니다. 짧은 컨텍스트에서는 VRAM에 간신히 들어맞던 모델도 긴 대화나 큰 문서를 처리하려고 하면 가중치는 고정되어 있지만 캐시가 계속 증가하므로 메모리가 완전히 부족해질 수 있습니다. KV 캐시가 전체 크기 공식에 어떻게 포함되는지 알아보려면 메모리 및 오프로딩을 참조하고, 구체적인 VRAM 표는 GPU 모델 적합 가이드를 참조하십시오. 이 페이지에서는 해당 수치를 반복하지 않습니다.

​

컨텍스트 대 속도 트레이드오프

메모리 외에도 더 큰 KV 캐시는 속도 비용도 발생합니다. 디코드는 메모리 대역폭에 제한을 받습니다 — 생성되는 각 토큰마다 모델은 가중치뿐만 아니라 지금까지 구축된 전체 KV 캐시를 읽어야 합니다(추론 작동 방식 참조). 캐시가 크면 매 단계마다 읽어야 할 데이터가 많아지므로 다음과 같은 결과가 발생합니다.

• 긴 컨텍스트는 디코드를 느리게 합니다. 모델 자체는 변하지 않았더라도 대화가 길어질수록 생성 속도(초당 토큰 수)가 떨어지는 경향이 있습니다.
• 긴 컨텍스트는 더 많은 메모리를 차지합니다. 이는 속도 비용과 무관한 별개의 비용입니다.

두 효과는 동일한 근본 원인에서 비롯됩니다. KV 캐시는 컨텍스트에 비례하여 증가하며, 디코드와 관련된 모든 것은 KV 캐시에 비례하여 증가합니다.

​

실용적인 요약

배포에 할당할 컨텍스트 양을 결정할 때, 이를 무료 설정이 아닌 실제 리소스 예산으로 취급하십시오. 거대한 최대 컨텍스트(128K, 256K)로 광고되는 모델이라고 해서 항상 그 한계에서 실행해야 한다는 의미는 아닙니다. 작업에 실제로 필요한 만큼 컨텍스트 크기를 조정하고, 확정하기 전에 GPU 모델 적합 가이드로 실제 메모리 비용을 확인하십시오.

​

더 깊이 알아보기

​

컨텍스트 및 메모리가 적합해지면

KV 캐시 크기 조정은 모델을 로컬에서 잘 실행하기 위한 과정의 일부입니다. localhost에서 실행되어 요청에 응답하는 단계가 완료되면, 다음 단계는 다른 곳에서 이를 접근하는 것입니다.