知识卡片
梯度下降法
梯度下降法是调整参数 θ 使损失函数 J(θ) 取得最小值的最基本方法之一,核心是“沿最陡峭下降方向一步步走到最低点”。 下山比喻:旅客在浓雾中下山,看不清路径,只能以当前位置为基准寻找最陡峭的方向往下走;对应到函数中就是找最陡的下降梯度,朝梯度相反方向走,函数值下降最快,因此也叫“最速下降法”。 学习率是关键参数,控制每步走的距离:太小会迟迟走不到最低点,太大会错过最低点。实践策略是一开始用较大学习率,接近最低点时适当降低。 基本步骤:给定 θ 初值 → 求当前梯度 → 沿梯度下降方向改变 θ → 求得局部极小值。 边界:它不保证找到全局最小值,常受初始点影响,需多次运行、随机化起点来接近全局最优。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 趋势预测专家:回归分析 4.5.1 梯度下降原理 · 查看原书依据
梯度下降法是调整参数θ使得损失函数J(θ)取得最小值的最基本方法之一。从图像上看,就是在碗状结构的凸函数上取一个初始值,然后沿着楼梯一步步挪动这个值,直到下降到最低点。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第4章《趋势预测专家:回归分析》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00009.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文定义“梯度下降法是调整参数θ使得损失函数J(θ)取得最小值的最基本方法之一……沿着楼梯一步步挪动这个值,直到下降到最低点”,并用下山场景说明,支撑本卡。
- 原始内容:梯度下降法是调整参数θ使得损失函数J(θ)取得最小值的最基本方法之一。从图像上看,就是在碗状结构的凸函数上取一个初始值,然后沿着楼梯一步步挪动这个值,直到下降到最低点。