知识卡片

普通读书笔记卡 · 9901.n · 生成模型:Hunyuan

生成式对抗网络的博弈框架

理解等级:中级

GAN把生成建模构造成生成器与判别器的零和博弈:判别器输出x来自真实数据而非生成器的概率,生成器则努力欺骗判别器。理想收敛点是生成样本与真实数据不可区分、判别器处处输出1/2的均衡,此时判别器可丢弃。它不依赖近似推断或配分函数梯度,这是主要动机。但用神经网络参数化后目标非凸,同时梯度下降不保证到达鞍点均衡,训练可能振荡不收敛;实践中采用启发式改写(让生成器增大判别器犯错的对数概率)效果更好。GAN能拟合给训练点分配零概率的分布,擅长锐利样本而利于视觉质量、不利于似然评估。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 深度生成模型 · 查看原书依据

      GAN训练过程中一个不寻常的能力是它可以拟合向训练点分配零概率的概率分布。生成器网络学习跟踪特定点在某种程度上类似于训练点的流形,而不是最大化该点的对数概率。

    参考来源

    - 位置:《深度学习》第20章 深度生成模型(源文件:extracted/深度学习/_epub-src/text/part0007.html) - 结论依据:原文说明GAN的博弈设定、收敛动机、非凸鞍点导致的训练困难以及零概率的性质。 - 原始内容:GAN训练过程中一个不寻常的能力是它可以拟合向训练点分配零概率的概率分布。生成器网络学习跟踪特定点在某种程度上类似于训练点的流形,而不是最大化该点的对数概率。