← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9816.p · 生成模型:DeepSeek-V4.1-Flash

FTRL与AdaGrad的差别

理解等级:高级

推荐与广告的模型有上亿维稀疏特征,每个特征出现的频率差异极大,固定学习率很难兼顾:高频特征需要小步长防震荡,低频特征需要大步长才学得动。

AdaGrad 为每个参数维护累积平方梯度 r ← r + g⊙g,更新时用 ε/(δ+√r) 作为该参数的有效学习率。出现越多的参数 r 越大、步长越小,天然适配稀疏特征。代价是 r 单调增大,学习率只会越来越小,训练后期几乎不再更新,可能过早停在次优解。

FTRL 面向流式在线训练,除了要求收敛,还要求产出稀疏解。它把三件事写进一个优化式:累计梯度(损失下降方向)、近端项(新解不要离旧解太远)、L1 正则(把无用权重压到 0)。闭式解是软阈值形式的分段函数:累计梯度绝对值小于 λ1 的维度直接置 0,超过则按阈值收缩。相比简单截断和梯度截断,它不会把“只是还没训练到”的维度误砍;相比 RDA,它又保留了近端约束,精度更稳。FOBOS 可视为梯度截断在特定条件下的特例,FTRL 则是 FOBOS 与 RDA 的折中。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0116.html) - 结论依据:原文指出 AdaGrad 的累积量随迭代增大、学习率单调变小,这既解释了它对稀疏特征的自适应,也说明了后期收敛变慢的代价。 - 原始内容:从公式(8-56)可以看出,随着算法不断迭代,nt会越来越大,整体的学习率会越来越小。一般来说,AdaGrad算法一开始是激励收敛,后面慢慢变成惩罚收敛,速度越来越慢。