知识卡片
随机梯度下降以单样本估计梯度
随机梯度下降逐次读取随机样本,用该样本损失对参数的梯度估计总体梯度,再沿负方向小步更新。
单步成本较低,但轨迹含随机波动;本书该处要求读者自行推导期望误差,未直接给出证明。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第33章 机器学习算法 · 查看原书依据
As each point (xi, yi) is considered, you can update the current values of a and b by taking the derivative with respect to a and b of the term of the objective function depending on (xi, yi). Doing so gives you a stochastic estimate of the gradient, and you can then take a small step in the opposite
参考来源
- 位置:《算法导论(第4版)》第33章《机器学习算法》(OEBPS/chapter033.xhtml,文本字符[70000,75000))。
- 结论依据:原文第33.3节或章末题目、注记;相关公式图已核对,未解答书中练习。
- 原始内容:As each point ( x i , y i ) is considered, you can update the current values of a and b by taking the derivative with respect to a and b of the term of the objective function depending on ( x i , y i ). Doing so gives you a stochastic estimate of the gradient, and you can then take a small step in the opposite