← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9889 · 生成模型:Hunyuan

训练优化与纯优化之别

理解等级:中级

纯优化直接最小化给定的目标函数 J,而机器学习训练关注的是定义在测试集上的性能度量 P(如分类准确率),P 往往不可解,只能间接地通过降低代价函数 J 来提升。因此训练算法会针对机器学习目标的结构做特化:用代理目标代替真实目标,并用验证集上的提前终止来决定何时停止,而不是等到训练目标收敛到局部极小。这一区别意味着不能照搬纯优化的收敛判据——纯优化终止时梯度很小,提前终止时代理损失往往仍有较大导数。把训练简单理解成“优化 J 本身”是最常见的误解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      用于深度模型训练的优化算法与传统的优化算法在几个方面有所不同。机器学习通常是间接作用的。在大多数机器学习问题中,我们关注某些性能度量P,其定义于测试集上并且可能是不可解的。因此,我们只是间接地优化P。我们希望通过降低代价函数J( θ )来提高P。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文开篇即指出机器学习通常是间接作用的:我们关注测试集上的性能度量 P,只能通过降低 J 来提高 P,这一点与纯优化最小化 J 本身不同。 - 原始内容:用于深度模型训练的优化算法与传统的优化算法在几个方面有所不同。机器学习通常是间接作用的。在大多数机器学习问题中,我们关注某些性能度量P,其定义于测试集上并且可能是不可解的。因此,我们只是间接地优化P。我们希望通过降低代价函数J( θ )来提高P。