知识卡片
BERT优化方法图谱
BERT虽实现真正双向,却有训练测试不一致、被遮词独立假设、参数庞大与段间依赖不足等缺陷。三条优化路线各有侧重:XLNet用排列语言模型加双流注意力与Transformer-XL,保留自回归的双向并建模长上下文;ALBERT用分解嵌入、跨层共享与SOP,压参数并改进句间目标;ELECTRA用RTD让判别器对全位置二分类,提高计算效率。图把共同问题与三族解法放进一张类图,便于对照各自针对的痛点。
结构图:
classDiagram
class BERT {
+MLM
+NSP
+maskMismatch
+independenceAssumption
+largeParams
}
class XLNet {
+PermutationLM
+TwoStreamSelfAttention
+TransformerXLRecurrence
+RelativePosEncoding
}
class ALBERT {
+FactorizedEmbedding
+CrossLayerSharing
+SOP
}
class ELECTRA {
+RTD
+Generator
+Discriminator
+WeightedLoss
}
BERT --> XLNet
BERT --> ALBERT
BERT --> ELECTRA
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 BERT的优化方法 · 查看原书依据
针对这些缺点,人们又提出了很多新的模型。例如XLNet、ALBERT、ELECTRA等模型,这些模型均从不同角度对BERT进行了优化。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11.xhtml)
- 结论依据:原文章首列出BERT的主要缺点并点明XLNet、ALBERT、ELECTRA从各自角度优化,结构图据此绘制。
- 原始内容:针对这些缺点,人们又提出了很多新的模型。例如XLNet、ALBERT、ELECTRA等模型,这些模型均从不同角度对BERT进行了优化。