知识卡片
贝叶斯统计与频率派之别
频率派与贝叶斯统计对“未知”给出截然不同的处理:频率派认为真实参数θ是固定未知量,点估计是随数据变化的随机变量,不确定性通过估计量的方差来评估;贝叶斯派则用概率直接表示知识状态,把可直接观测的数据当作确定的,把未知的θ当作随机变量。贝叶斯先用先验分布p(θ)表达对参数的初始信念(常取高熵宽分布以表示不确定),再用贝叶斯规则结合数据似然得到后验分布。预测时,贝叶斯方法对θ的全分布积分,每个可能的θ按其概率密度加权贡献,这与频率派只用一个点估计做预测形成根本区别。由于对参数不确定性做了积分,贝叶斯方法往往更不易过拟合,在数据有限时泛化更好,但数据量大时计算代价高;先验也引入了主观偏好,通常偏好更简单或更光滑的模型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
频率派的视角是真实参数 θ 是未知的定值,而点估计 是考虑数据集上函数(可以看作随机的)的随机变量。 贝叶斯统计的视角完全不同。贝叶斯统计用概率反映知识状态的确定性程度。数据集能够被直接观测到,因此不是随机的。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文系统对比了频率派与贝叶斯在参数是否随机、用点估计还是全分布、如何处理不确定性等方面的差异,并给出先验与后验的作用。
- 原始内容:频率派的视角是真实参数 θ 是未知的定值,而点估计 是考虑数据集上函数(可以看作随机的)的随机变量。 贝叶斯统计的视角完全不同。贝叶斯统计用概率反映知识状态的确定性程度。数据集能够被直接观测到,因此不是随机的。