知识卡片

普通读书笔记卡 · 3710.f.3

随机梯度下降以单样本估计梯度

理解等级:中级

随机梯度下降逐次读取随机样本,用该样本损失对参数的梯度估计总体梯度,再沿负方向小步更新。

单步成本较低,但轨迹含随机波动;本书该处要求读者自行推导期望误差,未直接给出证明。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第33章 机器学习算法 · 查看原书依据

      As each point (xi, yi) is considered, you can update the current values of a and b by taking the derivative with respect to a and b of the term of the objective function depending on (xi, yi). Doing so gives you a stochastic estimate of the gradient, and you can then take a small step in the opposite

    参考来源

    - 位置:《算法导论(第4版)》第33章《机器学习算法》(OEBPS/chapter033.xhtml,文本字符[70000,75000))。 - 结论依据:原文第33.3节或章末题目、注记;相关公式图已核对,未解答书中练习。 - 原始内容:As each point ( x i , y i ) is considered, you can update the current values of a and b by taking the derivative with respect to a and b of the term of the objective function depending on ( x i , y i ). Doing so gives you a stochastic estimate of the gradient, and you can then take a small step in the opposite