知识卡片

普通读书笔记卡 · 9857.e · 生成模型:Hunyuan

ELECTRA与RTD

理解等级:中级

ELECTRA把视觉中GAN的生成—判别思想引入文本预训练,但用最大似然而非对抗训练。它提出替换标记探测RTD:生成器是一个小MLM,随机把15%标识符换成[MASK]并预测原词,产出“损坏标记”;判别器接收被改写的输入,对每个位置做二分类,判断该词是原词还是被替换过,若生成器猜中原词则仍算原词。由于要对所有位置判别而非仅15%,学习信号更密集、收敛更快。微调时丢弃生成器只保留判别器。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 BERT的优化方法 · 查看原书依据

      ELECTRA创新性地提出了RTD(Replaced Token Detection,替换标记探测)这种新的预训练任务(可以判断每个样例的所有词汇是不是被替换过,加快训练速度),其结构示意图如图8-12所示。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0003.xhtml) - 结论依据:原文定义RTD任务、生成器与判别器的结构分工、全位置判别带来的效率提升及微调只用判别器,支撑本卡。 - 原始内容:ELECTRA创新性地提出了RTD(Replaced Token Detection,替换标记探测)这种新的预训练任务(可以判断每个样例的所有词汇是不是被替换过,加快训练速度),其结构示意图如图8-12所示。