知识卡片
变分法与最大熵分布
当潜变量连续、需直接求q的函数形式时要用到变分法。它把概率密度p(x)看作含无穷多元素的向量,泛函J[f]是函数的函数,泛函导数在对单个点的取值扮演梯度角色;令其在每点为0即得极值条件,相当于多元微积分中的梯度为零。求最大微分熵分布是典型例子:单纯最大化熵无意义,因为方差增大熵无界,需加归一化、固定方差与固定均值约束,再用拉格朗日乘子构造泛函并令泛函导数为0,解出p(x)呈高斯形式。这说明高斯分布是在已知约束下熵最大、结构假设最少的选择。边界:Dirac这类分布不对应函数空间中的点,泛函导数方法看不到它,只能先猜测再证明。要点:变分法让“优化一个分布”成为可计算的数学工具。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 近似推断 · 查看原书依据
这也是当我们不知道真实的分布时,总是使用正态分布的一个原因。因为正态分布拥有最大的熵,我们通过这个假定来保证了最小可能量的结构。
参考来源
- 位置:《深度学习》第19章 近似推断(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html)
- 结论依据:原文用最大熵推导高斯分布的完整论证,并说明Dirac分布不在泛函导数方法视野内的局限。
- 原始内容:这也是当我们不知道真实的分布时,总是使用正态分布的一个原因。因为正态分布拥有最大的熵,我们通过这个假定来保证了最小可能量的结构。