知识卡片
随机梯度下降的收敛效率
逐个权重分量观察:第一分量波动不明显,约60次迭代开始收敛、100次后趋于平稳;第三分量因alpha震荡波动较大,但约60次后也逐渐平稳;第二分量先快速下降,100次后回升,180次后趋于平缓,此后无明显升降。综合结论是该算法已接近最优,所算出的分类超平面可认定为最优超平面。真正的优势在效率:它达到最优所需迭代次数远少于梯度下降法,三个权重分量进入稳态的最高次数不超过200次,而Logistic梯度下降法迭代500次仍未达到最优。虽然随机抽取与动态生成alpha会降低单次计算效率,但迭代次数的大幅下降足以抵消这部分资源开销。实践要点是alpha的经验值可参考样本均值来选取。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 梯度寻优
原书出处 · 1 处
- 第5章 梯度寻优 · 查看原书依据
而且,算法达到最优状态所需的迭代次数比梯度下降算法要小得多,三个权重分量进入稳态的最高迭代次数也没有超过200次。而Logistic梯度下降法经过500次迭代也没有达到最优,相比之下效率要低很多。这是随机梯度下降算法的优势。
参考来源
- 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html)
- 结论依据:原文给出三个权重分量的收敛迭代次数与最高不超过200次、对比500次仍未最优的效率比较,并说明alpha经验值的选取。
- 原始内容:而且,算法达到最优状态所需的迭代次数比梯度下降算法要小得多,三个权重分量进入稳态的最高迭代次数也没有超过200次。而Logistic梯度下降法经过500次迭代也没有达到最优,相比之下效率要低很多。这是随机梯度下降算法的优势。