← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9884.e · 生成模型:Hunyuan

高斯分布为何常用

理解等级:高级

当缺乏关于某个实数分布的先验知识时,正态分布是默认的好选择,有两方面理由。第一,中心极限定理表明许多独立随机变量的和近似服从正态分布,因此现实中许多复杂系统可以成功建模为高斯噪声,即使系统本身可分解为更有结构化的部分。第二,在具有相同方差的所有实数分布中,正态分布的熵最大、最不确定,等价于它对模型加入的先验知识最少,因而最不偏袒。实践中有多种变体:用精度 beta(方差的倒数)避免反复求倒数与求逆,多维情形用精度矩阵替代协方差矩阵,或用对角、各向同性的协方差降低参数量。此外还有指数分布与 Laplace 分布用于在特定点设置尖峰,Dirac 分布与经验分布用于把质量集中到样本点,以及高斯混合模型作为概率密度的万能近似器。边界在于正态假设并非永远成立,多峰或重尾分布需要混合模型等更丰富的构造。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 概率与信息论 · 查看原书依据

      采用正态分布在很多应用中都是一个明智的选择。当我们由于缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时,正态分布是默认的比较好的选择,其中有两个原因。

    参考来源

    - 位置:《深度学习》第3章 概率与信息论(源文件:extracted/深度学习/_epub-src/text/part0000_split_001.html) - 结论依据:原文说明正态分布在缺乏先验时是默认选择,并给出中心极限定理与最大不确定性两条理由。 - 原始内容:采用正态分布在很多应用中都是一个明智的选择。当我们由于缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时,正态分布是默认的比较好的选择,其中有两个原因。