知识卡片
正态误差下最小二乘即最大似然
把 α、β 看成未知参数,给定已观测样本,问哪组参数最可能生成这批数据,这就是最大似然。若假设误差 ε 独立地服从均值为 0 的正态分布,每个点的似然就是一个以预测值为中心的正态密度;整份数据的似然是各点似然之积。取对数后,乘积变成求和,正态密度指数里的 (y − 预测)² 暴露出来,最大化它等价于最小化误差平方和。所以最小二乘不是随手选的损失,而是“正态误差 + 最大似然”这组假设的推论。误差若不是正态——比如重尾、有界(0/1 标签就是一例)——两者就不再等价,继续用平方和会得到有偏的结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 简单线性回归 · 查看原书依据
是使该函数最大化的值,即能够以最高概率产生观测数据的值。在连续分布的情况中,有概率分布函数而非概率密度函数,我们也可以做同样的事情。
参考来源
- 位置:《数据科学入门(第2版)》第14章 简单线性回归(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0018.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「是使该函数最大化的值,即能够以最高概率产生观测数据的值……」
- 原始内容:是使该函数最大化的值,即能够以最高概率产生观测数据的值。在连续分布的情况中,有概率分布函数而非概率密度函数,我们也可以做同样的事情。