知识卡片
回归损失:均方误差与绝对误差
回归任务直接预测连续值,因此可用预测值与期望值之差定义损失,但最简单的差值可能为负,正负相加会相互抵消。均方误差(MSE)先把每个误差平方再取平均:平方让误差全为正、只反映幅度,且可微、易计算,是回归中最常用的损失;然而平方也放大了大误差的权重,使远离期望值的异常值影响超出应有比例,数据含大量离群值时并不合适。平均绝对误差(MAE)改用误差绝对值,同样保证非负,对异常值更不敏感、更鲁棒;代价是绝对值需借助线性规划计算且不可微,在反向传播更新权重时可能带来麻烦。选择本质是鲁棒性与可微性、计算成本之间的权衡,参见 [[网络训练的三个环节]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
由于存在平方值,因此数据中的任何异常值(输出值与预期值相距甚远的样本)将对损失造成的影响超出其应有的范围。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文先指出简单差值会因符号抵消而失真,再分别给出 MSE 的平方机制与异常值缺陷、MAE 的绝对值机制与不可微缺陷,支撑两者的对比结论。
- 原始内容:由于存在平方值,因此数据中的任何异常值(输出值与预期值相距甚远的样本)将对损失造成的影响超出其应有的范围。