知识卡片
离散词元阻断直接反向传播
文本生成中,按最大值选取或采样离散词元后,判别器看到的是离散序列;模型参数微小变化可能不改变所选词元,无法直接通过该选择获得普通反向传播梯度。策略梯度等方法可提供替代估计,但会带来训练方差和稳定性挑战。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 生成模型
原书出处 · 1 处
- 生成模型 8.6 GAN训练的难点与技巧 · 查看原书依据
回到刚才的讨论,假设输出的分布只有一点小小的变化,并且在取最大值的时候,或者说在找得分最高的那个词元的时候,你会发现得分最高的那个词元没有发生改变.输出的分布只有一点小小的变化,所以得分最高的那个词元还是同一个词元. 对于判别器来说,输出的得分没有改变,判别器的输出也不会改变,所以根本没有办法算微分,也就根本没有办法做梯度下降. 当然,就算不能做梯度下降,我们也还是可以用强化学习的方法来训练生成器,但是强化学习本身以难以训练而闻名,GAN也以难以训练而闻名,合在一起就更加难以训练了. 所以要用GAN产生一段文字,在过去一直被认为是一个非常大的难题. 有很长一段时间,没有人能够成功地把生成器训练起来产生文字.
参考来源
- 位置:《深度学习详解》第8章《生成模型》8.6 GAN训练的难点与技巧(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml`)
- 结论依据:原文解释离散输出的梯度障碍、模式崩塌和图像生成评价;指标局限按条件表述。
- 原始内容:回到刚才的讨论,假设输出的分布只有一点小小的变化,并且在取最大值的时候,或者说在找得分最高的那个词元的时候,你会发现得分最高的那个词元没有发生改变.输出的分布只有一点小小的变化,所以得分最高的那个词元还是同一个词元. 对于判别器来说,输出的得分没有改变,判别器的输出也不会改变,所以根本没有办法算微分,也就根本没有办法做梯度下降. 当然,就算不能做梯度下降,我们也还是可以用强化学习的方法来训练生成器,但是强化学习本身以难以训练而闻名,GAN也以难以训练而闻名,合在一起就更加难以训练了. 所以要用GAN产生一段文字,在过去一直被认为是一个非常大的难题. 有很长一段时间,没有人能够成功地把生成器训练起来产生文字.