知识卡片

普通读书笔记卡 · 9553.h · 生成模型:DeepSeek-V4.1-Flash

同一个BCE两个相反目标

理解等级:中级

GAN 的损失通常建立在二元交叉熵上,但同一个函数被两个网络朝相反方向使用。

对判别器而言,真实样本的标签是 1、生成样本的标签是 0,训练目标是让输出尽量接近这两个标签,即最大化区分正确性。对生成器而言,它无法改变判别器,只能改变自己产出的样本,于是把生成样本的标签”冒充”为 1,训练目标是让判别器判真——等价于最小化被识破的概率。两者合起来是一个最小最大问题:判别器最大化自己的准确率,生成器最小化判别器的准确率。

理解这一点很关键:生成器的损失不是”生成样本与真实样本的距离”,而是”骗过当前判别器的程度”。所以同一批样本在不同训练阶段的损失不可直接比较,损失下降也不必然意味着画质提升,可能只是判别器变弱了。

这也是 GAN 与其他生成模型的根本差异:它优化的是相对判据,而不是显式的重建误差或似然。参见 [[GAN的生成与判别博弈]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 对比学习与对抗训练 · 查看原书依据

      在生成式对抗网络中,损失函数是生成器和判别器相互对抗的核心机制。判别器的损失函数用于衡量其将真实样本和生成样本区分开的能力,生成器的损失函数则衡量生成样本“欺骗”判别器的成功程度。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第8章《对比学习与对抗训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter012_0003.xhtml) - 结论依据:原文说明判别器损失衡量区分真假的能力、生成器损失衡量欺骗成功的程度,两者基于二元交叉熵并通过最大化与最小化不断优化自身。 - 原始内容:在生成式对抗网络中,损失函数是生成器和判别器相互对抗的核心机制。判别器的损失函数用于衡量其将真实样本和生成样本区分开的能力,生成器的损失函数则衡量生成样本“欺骗”判别器的成功程度。