知识卡片

操作参考卡 · 9427.g · 生成模型:Tencent Hunyuan Hy

原始GAN的训练平衡

理解等级:中级

原始 GAN 训练有个关键经验:让生成器与判别器的更新节奏不对称——每个周期生成器更新两次,判别器只更新一次。因为优化判别器比生成器容易得多,把任意图像判为“伪造”几乎不费力,判别器很容易过早收敛;一旦它在早期收敛,尚未学好的生成器只能产生垃圾图像,训练随之失衡。为缓解这种不平衡,还可给两个网络设不同学习率,例如生成器用稍高的 0.001、判别器用 0.0002。实现中双方都用 Adam 优化器,基础学习率 0.0002、第一矩衰减率 0.5。每 100 步记录双方损失并展示生成图像,便于观察博弈是否稳定。背景见[[对抗训练的零和机制]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 生成对抗网络 原始 GAN · 查看原书依据

      注意,在每个周期,生成器更新两次,而判别器仅更新一次。 这是因为优化判别器比生成器容易得多,这很直观。 任意图像只是毫不费力地被认为是伪造的。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第07章《生成对抗网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/13.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文点明生成器需更新两次以防判别器过早收敛导致生成器产出垃圾,支撑以更新节奏维持训练平衡的操作结论。 - 原始内容:注意,在每个周期,生成器更新两次,而判别器仅更新一次。 这是因为优化判别器比生成器容易得多,这很直观。 任意图像只是毫不费力地被认为是伪造的。