← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9901.k · 生成模型:Hunyuan

重参数化技巧

理解等级:中级

要从分布p(y;θ)采样并计算对参数θ的梯度,可把随机采样改写为对独立噪声z的确定性变换y=f(z,θ),其中z的分布不依赖于θ。这样就能像普通网络一样反向传播求∂y/∂θ:固定同一个z时,θ的微小变化如何改变输出是可微的。高斯采样μ+σ·z是典型例子。这要求f几乎处处连续可微,因而y必须是连续的;离散样本不能用此法,需改用REINFORCE。该技巧又称随机反向传播或扰动分析,是VAE等模型训练的基石。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      至关重要的是,额外输入是一个随机变量,其分布不是任何我们想对其计算导数的变量的函数。如果我们可以用相同的z值再次重复采样操作,结果会告诉我们μ或σ的微小变化将会如何改变输出。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文以高斯采样为例说明重参数化,并强调z必须独立于被求导变量以及f需连续可微。 - 原始内容:至关重要的是,额外输入是一个随机变量,其分布不是任何我们想对其计算导数的变量的函数。如果我们可以用相同的z值再次重复采样操作,结果会告诉我们μ或σ的微小变化将会如何改变输出。