原书出处
深度学习
19 第19章 近似推断
有很大的自由去选择λ。因为只要满足约束,拉格朗日关于λ这个变量的梯度就为0。为了满足所有的约束,我们可以令 ,从而得到
这也是当我们不知道真实的分布时,总是使用正态分布的一个原因。因为正态分布拥有最大的熵,我们通过这个假定来保证了最小可能量的结构。
当寻找熵的拉格朗日泛函的临界点并且给定一个固定的方差时,我们只能找到一个对应最大熵的临界点。那最小化熵的概率密度函数是
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0006_split_001.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639