← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9417.c · 生成模型:Tencent Hunyuan Hy

回归损失:均方误差与绝对误差

理解等级:中级

回归任务直接预测连续值,因此可用预测值与期望值之差定义损失,但最简单的差值可能为负,正负相加会相互抵消。均方误差(MSE)先把每个误差平方再取平均:平方让误差全为正、只反映幅度,且可微、易计算,是回归中最常用的损失;然而平方也放大了大误差的权重,使远离期望值的异常值影响超出应有比例,数据含大量离群值时并不合适。平均绝对误差(MAE)改用误差绝对值,同样保证非负,对异常值更不敏感、更鲁棒;代价是绝对值需借助线性规划计算且不可微,在反向传播更新权重时可能带来麻烦。选择本质是鲁棒性与可微性、计算成本之间的权衡,参见 [[网络训练的三个环节]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文先指出简单差值会因符号抵消而失真,再分别给出 MSE 的平方机制与异常值缺陷、MAE 的绝对值机制与不可微缺陷,支撑两者的对比结论。 - 原始内容:由于存在平方值,因此数据中的任何异常值(输出值与预期值相距甚远的样本)将对损失造成的影响超出其应有的范围。