原书出处
深度学习详解
08 生成模型 8.6 GAN训练的难点与技巧
回到刚才的讨论,假设输出的分布只有一点小小的变化,并且在取最大值的时候,或者说在找得分最高的那个词元的时候,你会发现得分最高的那个词元没有发生改变.输出的分布只有一点小小的变化,所以得分最高的那个词元还是同一个词元. 对于判别器来说,输出的得分没有改变,判别器的输出也不会改变,所以根本没有办法算微分,也就根本没有办法做梯度下降. 当然,就算不能做梯度下降,我们也还是可以用强化学习的方法来训练生成器,但是强化学习本身以难以训练而闻名,GAN也以难以训练而闻名,合在一起就更加难以训练了. 所以要用GAN产生一段文字,在过去一直被认为是一个非常大的难题. 有很长一段时间,没有人能够成功地把生成器训练起来产生文字.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc