月之暗面 Kimi 团队提出 Attention Residuals (AttnRes) 架构，重新定义深度学习残差连接新范式
来自：www.oschina.net 收录时间：2026-03-17
中国AI初创企业月之暗面（Moonshot AI）旗下Kimi团队发布了重磅技术论文《Attention Residuals: Rethinking depth-wise aggregation》，提出了一项名为Attention Residuals（注意力残差，简称AttnRes）的全新深度网络架构组件。 该工作从根本上重构了Transformer模型在深度方向上的信息流动方式，用softmax注意力机制替代...
阅读更多