要解决的问题：标准全注意力（full attention）要让每个 token 与之前所有 token 两两交互，计算与 KV 缓存随序列长度增长，长上下文下显存和延迟都吃不消。线性注意力试图把它压到线性复杂度。
机制
核心是把注意力重写成一种可累积的「状态」——读到新 token 时更新一个固定大小的记忆矩阵，而不是把历史 token 的键值全存下来。这使它能像 RNN 一样逐 token 递推、解码时状态大小恒定。代价是记忆容量有限：状态装不下的信息会丢，表达力通常不如全注意力。
工程现状
Kimi Linear 论文给出的方案是混合线性注意力——核心模块 Kimi Delta Attention（KDA）在 Gated DeltaNet 基础上做了更细粒度的门控，以更有效地利用有限状态；配合专门的分块（chunkwise）算法与 DPLR 转移矩阵变体提升硬件效率。论文预训练了 3B 激活/48B 总参数的模型，采用 KDA 与 MLA 逐层混合，报告在相同训练配方下全面优于全 MLA，KV 缓存占用最多降低 75%、1M 上下文下解码吞吐最高 6 倍，并开源了 KDA 内核与 vLLM 实现。
适用边界
上述对比与数字来自该论文的实验设定，不等于所有线性注意力方案都能超越全注意力；实践中多为「线性层 + 少量全注意力层」的混合架构，而非完全替换。