知识卡片

结构图卡 · 9553.g · 生成模型:DeepSeek-V4.1-Flash

GAN的生成与判别博弈

理解等级:中级

生成式对抗网络由两个网络组成,目标相反。生成器接收随机噪声,输出与真实数据同形状的样本;判别器接收一张样本,判断它来自真实数据还是生成器。训练时两者交替:判别器努力提高区分能力,生成器努力提高欺骗成功率,一方变强迫使另一方也变强,最终生成样本的分布逼近真实分布。

这个结构的巧妙之处在于不需要人为设计相似度度量——判别器就是可学习的损失函数,随生成质量提高自动变得苛刻。生成器从来不是直接拟合真实样本,而是拟合”当前判别器眼中的真实”,因此它拿到的梯度始终是相对的。

代价是训练过程是博弈而不是单纯最小化:没有固定下降目标,损失曲线的绝对值不再有”越低越好”的含义,需要靠生成样本的直观质量判断进展。判别器过强会让生成器拿不到有效梯度,过弱则提供不了区分压力,两者能力需要大致匹配。原文用彩色斑点图作真实数据,正是为了把注意力放在博弈机制而非数据复杂度上。参见 [[GAN交替训练的顺序约束]]。

结构图:

flowchart LR
  N[随机噪声] --> G[生成器]
  G --> F[生成样本]
  R[真实样本] --> D[判别器]
  F --> D
  D --> LD[判别器损失]
  F --> LG[生成器损失]
  LD --> U1[更新判别器]
  LG --> U2[更新生成器]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 对比学习与对抗训练 · 查看原书依据

      生成器和判别器是生成式对抗网络的两个核心组成部分。生成器负责从随机噪声中生成具有真实感的样本,而判别器则对输入样本进行分类,判断其是真实样本还是生成的伪样本。生成器和判别器相互对抗,生成器的目标是“欺骗”判别器,而判别器的目标则是准确区分真实样本和生成样本。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第8章《对比学习与对抗训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0003.xhtml) - 结论依据:原文说明生成器从噪声生成样本、判别器判断真伪,二者相互对抗,通过这一过程生成器逐渐学会生成更逼真的样本。 - 原始内容:生成器和判别器是生成式对抗网络的两个核心组成部分。生成器负责从随机噪声中生成具有真实感的样本,而判别器则对输入样本进行分类,判断其是真实样本还是生成的伪样本。生成器和判别器相互对抗,生成器的目标是“欺骗”判别器,而判别器的目标则是准确区分真实样本和生成样本。