← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9900.f · 生成模型:Hunyuan

学成推断与醒眠算法

理解等级:中级

迭代式推断(不动点方程、梯度优化)代价高,学成近似推断把它当成一次性函数拟合:将ν映射到最优q的多步过程用一个神经网络直接近似,推断只需一次前向传播。难点在于没有监督标签,给定ν并不知道合适的h,且映射随参数变化。醒眠算法从模型分布采样解决这个问题:有向模型先采潜变量再生成可见变量(相当于睡眠/做梦),再训练推断网络做反向预测;缺点是只能在当前模型高概率的ν上训练,学习早期模型与数据分布偏差大时学不到类似数据的样本。该策略也用于深度玻尔兹曼机的快速推断、ISTA式深度编码器,以及变分自编码器——后者不为推断网络设显式目标,只用其定义下界并增大它。要点:用网络把迭代推断开销摊销掉。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第19章 近似推断 · 查看原书依据

      训练一个可以用 ν 来推断 h 的模型的一个主要难点在于我们没有一个监督训练集来训练模型。给定一个 ν ,我们无法获知一个合适的 h 。从 ν 到 h 的映射依赖于模型族的选择,并且在学习过程中随着 θ 的改变而变化。

    参考来源

    - 位置:《深度学习》第19章 近似推断(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文给出学成推断的函数视角、醒眠算法的采样训练机制与缺点,并列举其他学成推断形式。 - 原始内容:训练一个可以用 ν 来推断 h 的模型的一个主要难点在于我们没有一个监督训练集来训练模型。给定一个 ν ,我们无法获知一个合适的 h 。从 ν 到 h 的映射依赖于模型族的选择,并且在学习过程中随着 θ 的改变而变化。