知识卡片

普通读书笔记卡 · 9887.f · 生成模型:Hunyuan

均方与绝对误差的条件统计量

理解等级:高级

有时我们只关心给定 x 时 y 的某个条件统计量,而非完整的分布 p(y|x)。可以把代价看作函数到实数的泛函,于是学习就是选一个函数而不只是选一组参数。用变分法可导出两个结论:最小化均方误差得到预测条件均值的函数,最小化平均绝对误差得到预测中位数的函数,前提是该函数在允许的函数族内。但均方误差和平均绝对误差与饱和输出单元结合时会产生极小的梯度,基于梯度的优化往往成效不佳;这正是即使不需要估计完整分布,交叉熵仍比它们更受欢迎的原因。用途边界:当明确要估计均值或中位数、且输出不饱和时,这两个损失有清晰的统计解释;否则应优先考虑交叉熵。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      如果我们能够用无穷多的、来源于真实的数据生成分布的样本进行训练,最小化均方误差代价函数将得到一个函数,它可以用来对每个 x 的值预测出 y 的均值。

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文用变分法给出 MSE 预测均值、MAE 预测中位数的结论,并说明它们因饱和输出导致梯度小而成效不佳,交叉熵因此更受欢迎。 - 原始内容:如果我们能够用无穷多的、来源于真实的数据生成分布的样本进行训练,最小化均方误差代价函数将得到一个函数,它可以用来对每个 x 的值预测出 y 的均值。