知识卡片
ELECTRA损失与GAN之别
ELECTRA与GAN形似而神不似:GAN中判别器D的损失要回传给生成器G做对抗训练,而文本任务里D的损失不便于传给G,因此ELECTRA让G用最大似然独立训练,两者分开优化。联合损失是生成器MLM损失与判别器RTD损失按λ加权相加;因RTD相对容易、损失量级远小于MLM,作者取λ=50来平衡两者贡献。这一设计绕开了文本离散输出难以反向传播的障碍,又保留了生成器提供高质量负样本、判别器高效学习的双重好处。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 BERT的优化方法 · 查看原书依据
与GAN网络不同,在ELECTRA中,G使用最大似然的方式训练,而非对抗训练。由于在文本任务中D的损失不便于传给G,所以D和G的训练是分开的,联合训练的损失函数如下: 因为判别器的任务相对来说容易些,RTD的损失相对MLM的损失会很小,因此加上一个超参数λ,ELECTRA的作者在训练时令λ为50。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0003.xhtml)
- 结论依据:原文指出G用最大似然而非对抗、D与G分开训练、RTD损失偏小需加λ且λ取50,支撑本卡的权衡分析。
- 原始内容:与GAN网络不同,在ELECTRA中,G使用最大似然的方式训练,而非对抗训练。由于在文本任务中D的损失不便于传给G,所以D和G的训练是分开的,联合训练的损失函数如下: 因为判别器的任务相对来说容易些,RTD的损失相对MLM的损失会很小,因此加上一个超参数λ,ELECTRA的作者在训练时令λ为50。