Kimi 쇼크의 실체

핵심 요약

• KDA(Kimi Delta Attention)이란? KDA 는 이전 토큰의 Key 와 Value 를 모두 KV Cache 에 저장하는 대신, 과거 문맥을 일정한 크기의 상태로 압축해 유지하는 Attention 구조