DistilQwen2.5-R1 发布：知识蒸馏助推小模型深度思考
来自：my.oschina.net 收录时间：2025-03-26
DistilQwen2.5-R1 系列以少量来自 DeepSeek-R1 的思维链蒸馏数据为基础，通过一系列创新的蒸馏策略，有效强化了小模型的深度思考能力。实验评估结果显示，DistilQwen2.5-R1 系列中的多种小规模模型在各项基准测试中表现优异（见下图）。例如，DistilQwen2.5-R1-7B 性能显著超越了其他开源蒸馏模型，包括 OpenThinker-7B...
阅读更多