← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9842.n · 生成模型:Hunyuan

步长变化率与双重震荡

理解等级:高级

动态步长alpha=2/(1.0+j+i)+0.0001同时受迭代次数j与抽取次数i影响。书中分两条曲线考查:一条是一次迭代内随向量计算个数增加,alpha从最初的2迅速降到0.3,之后平缓趋近于0;另一条是500次迭代中第一个向量的取值,同样随迭代次数下降。可见alpha总体呈波动下降,由迭代与抽取双重驱动,导致计算结果出现双重震荡。后果直接反映在斜率与截距曲线上:截距的原始曲线波动很大,用回归线拟合后500次仅从-7.1缓降到-7.4,趋势平缓;斜率起初波动剧烈,到约160次迭代后趋平稳、无明显升降,若剔除alpha变动的影响,应近似一条与横轴平行的直线,即达到稳态。动态步长以震荡为代价换取精度与速度的平衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 梯度寻优 · 查看原书依据

      下图是α值在所有500次迭代中,计算第一个向量时取值的变化,可以看到随着迭代次数的增加,下降的趋势与上图相似。由此可见,alpha值受迭代次数和抽取次数的双重影响,总体呈波动下降趋势,这会导致计算结果的双重震荡。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html) - 结论依据:原文给出alpha随迭代次数与抽取次数变化的曲线与双重震荡判断,并用截距回归线、斜率趋稳的具体数值展示震荡后果。 - 原始内容:下图是α值在所有500次迭代中,计算第一个向量时取值的变化,可以看到随着迭代次数的增加,下降的趋势与上图相似。由此可见,alpha值受迭代次数和抽取次数的双重影响,总体呈波动下降趋势,这会导致计算结果的双重震荡。