← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9900.d · 生成模型:Hunyuan

均值场与结构化变分推断

理解等级:高级

变分学习在受限的q分布族上最大化下界,限制往往体现为对q如何分解的假设。均值场令q=∏q(h_i|ν),把后验近似为各维独立;结构化变分推断则允许在q中选择任意图模型结构,用变量间相互作用的多少灵活调节近似程度。由于下界等于log p(ν)减去KL(q‖p(h|ν)),最大化它等价于最小化该KL;这里选KL(q‖p)而非最大似然的KL(p_data‖p_model),是为了让期望在简单的q下计算,而真实后验下的期望无法廉价设计。优化可用梯度下降,但内循环常用不动点方程快速求解,该方程等价于一个执行推断的循环神经网络;对二值稀疏编码,相消解释造成的峰值竞争体现为单元间相互抑制,均值场只能选一个峰。要点:变分法是设定分解方式再优化出分布,不预设具体参数化形式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第19章 近似推断 · 查看原书依据

      一种常用的变分学习的方法是加入一些限制使得q是一个因子分布: 这被称为均值场 (mean-field)方法。更一般地说,我们可以通过选择分布q的形式来选择任何图模型的结构,通过选择变量之间相互作用的多少来灵活地决定近似程度的大小。

    参考来源

    - 位置:《深度学习》第19章 近似推断(源文件:extracted/深度学习/_epub-src/text/part0006_split_001.html) - 结论依据:原文讲解均值场与结构化变分推断的定义、KL方向的计算动机、不动点方程与循环神经网络的联系及衰减技巧。 - 原始内容:一种常用的变分学习的方法是加入一些限制使得q是一个因子分布: 这被称为均值场 (mean-field)方法。更一般地说,我们可以通过选择分布q的形式来选择任何图模型的结构,通过选择变量之间相互作用的多少来灵活地决定近似程度的大小。