← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9443.l · 生成模型:Tencent Hunyuan Hy

梯度下降法

理解等级:中级

梯度下降法是调整参数 θ 使损失函数 J(θ) 取得最小值的最基本方法之一,核心是“沿最陡峭下降方向一步步走到最低点”。 下山比喻:旅客在浓雾中下山,看不清路径,只能以当前位置为基准寻找最陡峭的方向往下走;对应到函数中就是找最陡的下降梯度,朝梯度相反方向走,函数值下降最快,因此也叫“最速下降法”。 学习率是关键参数,控制每步走的距离:太小会迟迟走不到最低点,太大会错过最低点。实践策略是一开始用较大学习率,接近最低点时适当降低。 基本步骤:给定 θ 初值 → 求当前梯度 → 沿梯度下降方向改变 θ → 求得局部极小值。 边界:它不保证找到全局最小值,常受初始点影响,需多次运行、随机化起点来接近全局最优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第4章《趋势预测专家:回归分析》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00009.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文定义“梯度下降法是调整参数θ使得损失函数J(θ)取得最小值的最基本方法之一……沿着楼梯一步步挪动这个值,直到下降到最低点”,并用下山场景说明,支撑本卡。 - 原始内容:梯度下降法是调整参数θ使得损失函数J(θ)取得最小值的最基本方法之一。从图像上看,就是在碗状结构的凸函数上取一个初始值,然后沿着楼梯一步步挪动这个值,直到下降到最低点。