知识卡片
ELECTRA评估
在相同计算预算下,ELECTRA相对其他预训练模型有实质改进:当性能与RoBERTa、XLNet相当时,它消耗的计算量不到二者的四分之一。同等量级的ELECTRA始终高于BERT,训练更长时间后还能达到当时SOTA模型RoBERTa的效果。这说明用全位置判别的RTD替代只预测15%的MLM,能显著提升计算效率与最终性能,是以更少资源换取更强文本编码器的一条有效路径。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 BERT的优化方法 · 查看原书依据
研究人员将ELECTRA与其他最新的NLP模型进行了比较,发现在给定相同计算预算的情况下,ELECTRA有实质性的改进,当性能与RoBERTa、XLNet相当时,它使用的计算量却不到RoBERTa、XLNet的1/4,如图8-13所示。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0003.xhtml)
- 结论依据:原文给出相同预算下ELECTRA达到RoBERTa/XLNet效果只需不到四分之一计算量、同量级高于BERT并达RoBERTa效果,支撑本卡。
- 原始内容:研究人员将ELECTRA与其他最新的NLP模型进行了比较,发现在给定相同计算预算的情况下,ELECTRA有实质性的改进,当性能与RoBERTa、XLNet相当时,它使用的计算量却不到RoBERTa、XLNet的1/4,如图8-13所示。