项目来源 :bust_in_silhouette: 开发者：wjie98 :link: 项目链接：https://github.com/wjie98/rosa_soft 本项目为社区提出的一种 ROSA 实现，不代表 RWKV-8 ROSA 的实际实现，效果供参考。 ROSA Soft 是由社区开发者设计的一套端到端可训练的 ROSA 算子实现。该项目采用直通估计器（STE）框架，成功解决了 ROSA 机制离散...

阅读更多