← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9886.k · 生成模型:Hunyuan

贝叶斯统计与频率派之别

理解等级:中级

频率派与贝叶斯统计对“未知”给出截然不同的处理:频率派认为真实参数θ是固定未知量,点估计是随数据变化的随机变量,不确定性通过估计量的方差来评估;贝叶斯派则用概率直接表示知识状态,把可直接观测的数据当作确定的,把未知的θ当作随机变量。贝叶斯先用先验分布p(θ)表达对参数的初始信念(常取高熵宽分布以表示不确定),再用贝叶斯规则结合数据似然得到后验分布。预测时,贝叶斯方法对θ的全分布积分,每个可能的θ按其概率密度加权贡献,这与频率派只用一个点估计做预测形成根本区别。由于对参数不确定性做了积分,贝叶斯方法往往更不易过拟合,在数据有限时泛化更好,但数据量大时计算代价高;先验也引入了主观偏好,通常偏好更简单或更光滑的模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 机器学习基础 · 查看原书依据

      频率派的视角是真实参数 θ 是未知的定值,而点估计 是考虑数据集上函数(可以看作随机的)的随机变量。 贝叶斯统计的视角完全不同。贝叶斯统计用概率反映知识状态的确定性程度。数据集能够被直接观测到,因此不是随机的。

    参考来源

    - 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文系统对比了频率派与贝叶斯在参数是否随机、用点估计还是全分布、如何处理不确定性等方面的差异,并给出先验与后验的作用。 - 原始内容:频率派的视角是真实参数 θ 是未知的定值,而点估计 是考虑数据集上函数(可以看作随机的)的随机变量。 贝叶斯统计的视角完全不同。贝叶斯统计用概率反映知识状态的确定性程度。数据集能够被直接观测到,因此不是随机的。