← 返回刚才阅读的位置

知识卡片

结构图卡 · 9857.h · 生成模型:Hunyuan

BERT优化方法图谱

理解等级:中级

BERT虽实现真正双向,却有训练测试不一致、被遮词独立假设、参数庞大与段间依赖不足等缺陷。三条优化路线各有侧重:XLNet用排列语言模型加双流注意力与Transformer-XL,保留自回归的双向并建模长上下文;ALBERT用分解嵌入、跨层共享与SOP,压参数并改进句间目标;ELECTRA用RTD让判别器对全位置二分类,提高计算效率。图把共同问题与三族解法放进一张类图,便于对照各自针对的痛点。

结构图:

classDiagram
    class BERT {
        +MLM
        +NSP
        +maskMismatch
        +independenceAssumption
        +largeParams
    }
    class XLNet {
        +PermutationLM
        +TwoStreamSelfAttention
        +TransformerXLRecurrence
        +RelativePosEncoding
    }
    class ALBERT {
        +FactorizedEmbedding
        +CrossLayerSharing
        +SOP
    }
    class ELECTRA {
        +RTD
        +Generator
        +Discriminator
        +WeightedLoss
    }
    BERT --> XLNet
    BERT --> ALBERT
    BERT --> ELECTRA
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11.xhtml) - 结论依据:原文章首列出BERT的主要缺点并点明XLNet、ALBERT、ELECTRA从各自角度优化,结构图据此绘制。 - 原始内容:针对这些缺点,人们又提出了很多新的模型。例如XLNet、ALBERT、ELECTRA等模型,这些模型均从不同角度对BERT进行了优化。