← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 8854 · 生成模型:GPT-6

优化器用局部信息迭代参数

理解等级:初级

优化器在当前参数处获取损失地形的信息,再产生下一组参数。零阶方法主要查询函数值,一阶方法利用梯度,二阶方法还利用曲率。所需信息不同会改变计算成本与更新行为;损失定义明确后,优化策略仍是独立选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      Different optimizers differ in how the parameter update function works. The update function gets to view some information about the loss landscape, then uses that information to update the parameters, as shown in figure 10.1.

    参考来源

    - 位置:《Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)》第10章《基于梯度的学习算法》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)/_epub-src/OPS/xhtml/c010.xhtml) - 结论依据:摘录中关于优化器用局部信息迭代参数的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。 - 原始内容:Different optimizers differ in how the parameter update function works. The update function gets to view some information about the loss landscape, then uses that information to update the parameters, as shown in figure 10.1.