← 返回卡片

原书出处

深度学习详解

08 生成模型 8.6 GAN训练的难点与技巧

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.559Z

回到刚才的讨论,假设输出的分布只有一点小小的变化,并且在取最大值的时候,或者说在找得分最高的那个词元的时候,你会发现得分最高的那个词元没有发生改变.输出的分布只有一点小小的变化,所以得分最高的那个词元还是同一个词元. 对于判别器来说,输出的得分没有改变,判别器的输出也不会改变,所以根本没有办法算微分,也就根本没有办法做梯度下降. 当然,就算不能做梯度下降,我们也还是可以用强化学习的方法来训练生成器,但是强化学习本身以难以训练而闻名,GAN也以难以训练而闻名,合在一起就更加难以训练了. 所以要用GAN产生一段文字,在过去一直被认为是一个非常大的难题. 有很长一段时间,没有人能够成功地把生成器训练起来产生文字.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter08.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc