英伟达研究团队发布了Jet-Nemotron，这是一个新一代的混合架构语言模型系列。该系列通过Post Neural Architecture Search (PostNAS)流程，在冻结预训练全注意力模型MLP权重的前提下，仅对注意力模块进行高效的设计探索，实现了与领先全注意力模型相当或更高的精度，同时显著提升了生成吞-吐量。 https://arxiv.org/abs/...

阅读更多