← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9857.f · 生成模型:Hunyuan

ELECTRA损失与GAN之别

理解等级:高级

ELECTRA与GAN形似而神不似:GAN中判别器D的损失要回传给生成器G做对抗训练,而文本任务里D的损失不便于传给G,因此ELECTRA让G用最大似然独立训练,两者分开优化。联合损失是生成器MLM损失与判别器RTD损失按λ加权相加;因RTD相对容易、损失量级远小于MLM,作者取λ=50来平衡两者贡献。这一设计绕开了文本离散输出难以反向传播的障碍,又保留了生成器提供高质量负样本、判别器高效学习的双重好处。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 BERT的优化方法 · 查看原书依据

      与GAN网络不同,在ELECTRA中,G使用最大似然的方式训练,而非对抗训练。由于在文本任务中D的损失不便于传给G,所以D和G的训练是分开的,联合训练的损失函数如下: 因为判别器的任务相对来说容易些,RTD的损失相对MLM的损失会很小,因此加上一个超参数λ,ELECTRA的作者在训练时令λ为50。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0003.xhtml) - 结论依据:原文指出G用最大似然而非对抗、D与G分开训练、RTD损失偏小需加λ且λ取50,支撑本卡的权衡分析。 - 原始内容:与GAN网络不同,在ELECTRA中,G使用最大似然的方式训练,而非对抗训练。由于在文本任务中D的损失不便于传给G,所以D和G的训练是分开的,联合训练的损失函数如下: 因为判别器的任务相对来说容易些,RTD的损失相对MLM的损失会很小,因此加上一个超参数λ,ELECTRA的作者在训练时令λ为50。