月之暗面发布混合线性注意力架构：Kimi Linear
来自：www.oschina.net 收录时间：2025-10-31
月之暗面发布了名为“Kimi Linear”的混合线性注意力架构，据称在短距离、长距离及强化学习（RL）等多种扩展场景中均优于传统全注意力方法。其核心是Kimi Delta Attention（KDA）——这是Gated DeltaNet的优化版本，引入了更高效的门控机制以优化有限状态RNN记忆的使用。 Kimi Linear由3份Kimi Delta Attention（KDA）和...
阅读更多