← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9900.e · 生成模型:Hunyuan

变分法与最大熵分布

理解等级:高级

当潜变量连续、需直接求q的函数形式时要用到变分法。它把概率密度p(x)看作含无穷多元素的向量,泛函J[f]是函数的函数,泛函导数在对单个点的取值扮演梯度角色;令其在每点为0即得极值条件,相当于多元微积分中的梯度为零。求最大微分熵分布是典型例子:单纯最大化熵无意义,因为方差增大熵无界,需加归一化、固定方差与固定均值约束,再用拉格朗日乘子构造泛函并令泛函导数为0,解出p(x)呈高斯形式。这说明高斯分布是在已知约束下熵最大、结构假设最少的选择。边界:Dirac这类分布不对应函数空间中的点,泛函导数方法看不到它,只能先猜测再证明。要点:变分法让“优化一个分布”成为可计算的数学工具。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第19章 近似推断 · 查看原书依据

      这也是当我们不知道真实的分布时,总是使用正态分布的一个原因。因为正态分布拥有最大的熵,我们通过这个假定来保证了最小可能量的结构。

    参考来源

    - 位置:《深度学习》第19章 近似推断(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文用最大熵推导高斯分布的完整论证,并说明Dirac分布不在泛函导数方法视野内的局限。 - 原始内容:这也是当我们不知道真实的分布时,总是使用正态分布的一个原因。因为正态分布拥有最大的熵,我们通过这个假定来保证了最小可能量的结构。