> 数据图表

各位网友请教一下三类预训练任务的学习率敏感性分析:SCCSSC 偏好较高学习率,MAP 偏好较低学习率

2026-4-1
各位网友请教一下三类预训练任务的学习率敏感性分析:SCCSSC 偏好较高学习率,MAP 偏好较低学习率
论文进一步比较了三类预训练任务在不同学习率下的表现。结果表明,三项任务对学习率的偏好并不一致:SCC 与 SSC 在较高学习率下分类准确率更高,而 MAP 在较低学习率下均方误差更低。这说明,虽然三类任务可以统一纳入 SSPT 框架,但其最优训练设定并不完全相同,实际使用时需要针对任务特性分别调参。预训练完成后,Transformer 主体参数被保留,作为统一的特征提取模块,而原有的任务头(分类均值预测)被移除。这一步的核心意义在于:将模型从“完成具体预训练任务”转变为“提供高质量特征表示”。