← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9842.m · 生成模型:Hunyuan

随机梯度下降的动态步长

理解等级:中级

Logistic梯度下降在理论上看似完美,实践却卡在固定步长α:取大收敛快但易越过最优点而发散,取小能满足精度却显著拖慢收敛。随机梯度下降法没有新的算法理论,只引入两点改进——随机样本抽取与动态步长策略,以兼顾优化精度与收敛速度。它对每个行向量单独计算步长,无法再用矢量编程,脚本语言下执行会变慢,但好处是能衡量每个向量的变化趋势。每轮对m个行向量做无放回随机抽取(选中后从dataIndex中删除),步长按alpha=2/(1.0+j+i)+0.0001动态更新,其中j是迭代次数、i是抽取次数,2为经验常量,取值越大震荡越大、建议参考样本均值;再用该样本算点积、logistic梯度与误差,按weights=weights+alpha乘errors乘dataMat随机行更新权重。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 梯度寻优 · 查看原书依据

      随机梯度下降法并没有新的算法理论,仅仅引进了随机样本抽取方式,并提供了一种动态步长取值的策略,目的是既要保证优化精度,又要满足收敛速度。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html) - 结论依据:原文指出固定步长的两难,说明随机梯度下降仅靠随机抽取与动态步长改进,并给出alpha公式、经验常量与逐向量更新代码。 - 原始内容:随机梯度下降法并没有新的算法理论,仅仅引进了随机样本抽取方式,并提供了一种动态步长取值的策略,目的是既要保证优化精度,又要满足收敛速度。