知识卡片
ELECTRA与RTD
ELECTRA把视觉中GAN的生成—判别思想引入文本预训练,但用最大似然而非对抗训练。它提出替换标记探测RTD:生成器是一个小MLM,随机把15%标识符换成[MASK]并预测原词,产出“损坏标记”;判别器接收被改写的输入,对每个位置做二分类,判断该词是原词还是被替换过,若生成器猜中原词则仍算原词。由于要对所有位置判别而非仅15%,学习信号更密集、收敛更快。微调时丢弃生成器只保留判别器。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 BERT的优化方法 · 查看原书依据
ELECTRA创新性地提出了RTD(Replaced Token Detection,替换标记探测)这种新的预训练任务(可以判断每个样例的所有词汇是不是被替换过,加快训练速度),其结构示意图如图8-12所示。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0003.xhtml)
- 结论依据:原文定义RTD任务、生成器与判别器的结构分工、全位置判别带来的效率提升及微调只用判别器,支撑本卡。
- 原始内容:ELECTRA创新性地提出了RTD(Replaced Token Detection,替换标记探测)这种新的预训练任务(可以判断每个样例的所有词汇是不是被替换过,加快训练速度),其结构示意图如图8-12所示。