知识卡片

普通读书笔记卡 · 6473.d.2.e.1.b · 生成模型:未记录

离散词元阻断直接反向传播

理解等级:中级

文本生成中,按最大值选取或采样离散词元后,判别器看到的是离散序列;模型参数微小变化可能不改变所选词元,无法直接通过该选择获得普通反向传播梯度。策略梯度等方法可提供替代估计,但会带来训练方差和稳定性挑战。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 生成模型 8.6 GAN训练的难点与技巧 · 查看原书依据

      回到刚才的讨论,假设输出的分布只有一点小小的变化,并且在取最大值的时候,或者说在找得分最高的那个词元的时候,你会发现得分最高的那个词元没有发生改变.输出的分布只有一点小小的变化,所以得分最高的那个词元还是同一个词元. 对于判别器来说,输出的得分没有改变,判别器的输出也不会改变,所以根本没有办法算微分,也就根本没有办法做梯度下降. 当然,就算不能做梯度下降,我们也还是可以用强化学习的方法来训练生成器,但是强化学习本身以难以训练而闻名,GAN也以难以训练而闻名,合在一起就更加难以训练了. 所以要用GAN产生一段文字,在过去一直被认为是一个非常大的难题. 有很长一段时间,没有人能够成功地把生成器训练起来产生文字.

    参考来源

    - 位置:《深度学习详解》第8章《生成模型》8.6 GAN训练的难点与技巧(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml`) - 结论依据:原文解释离散输出的梯度障碍、模式崩塌和图像生成评价;指标局限按条件表述。 - 原始内容:回到刚才的讨论,假设输出的分布只有一点小小的变化,并且在取最大值的时候,或者说在找得分最高的那个词元的时候,你会发现得分最高的那个词元没有发生改变.输出的分布只有一点小小的变化,所以得分最高的那个词元还是同一个词元. 对于判别器来说,输出的得分没有改变,判别器的输出也不会改变,所以根本没有办法算微分,也就根本没有办法做梯度下降. 当然,就算不能做梯度下降,我们也还是可以用强化学习的方法来训练生成器,但是强化学习本身以难以训练而闻名,GAN也以难以训练而闻名,合在一起就更加难以训练了. 所以要用GAN产生一段文字,在过去一直被认为是一个非常大的难题. 有很长一段时间,没有人能够成功地把生成器训练起来产生文字.