← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9677.a · 生成模型:DeepSeek-V4.1-Flash

平方误差差一个根号

理解等级:中级

前两关都过:SE=(ŷ−y)²≥0,且只有当 ŷ=y 时才为 0;对称显然。

第三关翻车:取 1、2、3。SE(1,3)=4;SE(1,2)+SE(2,3)=1+1=2;4>2,直达比绕路还远,三角不等式被违反。直观原因是平方把大差距放大得更快,中间点反而省不下路。

加个根号就修好:RMSE=√SE=|ŷ−y|,标量情形下就是欧氏距离,三角不等式成立(即绝对值的三角不等式)。推广到向量就是 L2 范数,这就是为什么欧氏距离是度量、平方欧氏距离不是。

别混淆两件事:MSE 不是度量,不代表它不能当损失。它可导、对大误差惩罚强、梯度形式干净,做优化很合适。问题只出在把它当距离用于比较样本、聚类、检索或核函数——那些场景需要三角不等式撑住几何直觉。

推论:想用 MSE 训练又要度量性质,就在评估端换 RMSE;两者单调对应,排序不变,但距离的语义只有在 RMSE 上才成立。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第27讲 合适的模型度量(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0035.xhtml) - 结论依据:第27章 27.2 节:SE 满足非负与同一性、1/2/3 的反例、开方后恢复三角不等式 - 原始内容:在这种情况下,SE满足第一个标准的第一部分:两点之间的“距离”总是非负的。因为我们对差值进行平方运算,所以结果不可能是负数。