知识卡片
平方误差差一个根号
前两关都过:SE=(ŷ−y)²≥0,且只有当 ŷ=y 时才为 0;对称显然。
第三关翻车:取 1、2、3。SE(1,3)=4;SE(1,2)+SE(2,3)=1+1=2;4>2,直达比绕路还远,三角不等式被违反。直观原因是平方把大差距放大得更快,中间点反而省不下路。
加个根号就修好:RMSE=√SE=|ŷ−y|,标量情形下就是欧氏距离,三角不等式成立(即绝对值的三角不等式)。推广到向量就是 L2 范数,这就是为什么欧氏距离是度量、平方欧氏距离不是。
别混淆两件事:MSE 不是度量,不代表它不能当损失。它可导、对大误差惩罚强、梯度形式干净,做优化很合适。问题只出在把它当距离用于比较样本、聚类、检索或核函数——那些场景需要三角不等式撑住几何直觉。
推论:想用 MSE 训练又要度量性质,就在评估端换 RMSE;两者单调对应,排序不变,但距离的语义只有在 RMSE 上才成立。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第27章 合适的模型度量 · 查看原书依据
在这种情况下,SE满足第一个标准的第一部分:两点之间的“距离”总是非负的。因为我们对差值进行平方运算,所以结果不可能是负数。
参考来源
- 位置:《大模型技术30讲》第27讲 合适的模型度量(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0035.xhtml)
- 结论依据:第27章 27.2 节:SE 满足非负与同一性、1/2/3 的反例、开方后恢复三角不等式
- 原始内容:在这种情况下,SE满足第一个标准的第一部分:两点之间的“距离”总是非负的。因为我们对差值进行平方运算,所以结果不可能是负数。