知识卡片

普通读书笔记卡 · 9867.a · 生成模型:Hunyuan

自编码语言模型

理解等级:高级

自编码器(AE)是一种无监督学习输入特征的方法:先用神经网络把加噪输入压成低维特征(编码),再用解码器尝试恢复原始信号。BERT 可视为一种自编码:它用 [MASK] 改变部分标识符,再让模型根据上下文其余标识符恢复它们。其优点是本质为降噪自编码特征表示,通过引入 [MASK] 噪声构建 MLM,得到上下文相关的双向特征。缺点同样关键:引入独立性假设,是联合概率的有偏估计,未考虑被预测 [MASK] 之间的相关性;MLM 目标使预训练与生成(测试)过程不一致,不适合直接做生成任务;[MASK] 噪声只在预训练出现、微调阶段不会出现,造成两阶段不匹配。代表模型有 BERT、UniLM、T5、ALBERT。理解这些缺陷,才能解释 BERT 类模型在生成任务上的局限及后续改进动机。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 附录B 语言模型 · 查看原书依据

      自编码器(AutoEncoding,AE)是一种无监督学习输入特征的方法:我们用一个神经网络把输入(输入通常还会增加一些噪声)变成一个低维的特征,这就是编码部分。再用一个Decoder尝试把特征恢复成原始的信号。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》附录B 语言模型(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter22.xhtml) - 结论依据:原文 2 节先给出自编码器“编码—解码”定义并以 BERT 的 [MASK] 机制类比,再明确列出其在双向表示上的优点与独立性假设、任务不一致、两阶段不匹配等缺点及代表模型。 - 原始内容:自编码器(AutoEncoding,AE)是一种无监督学习输入特征的方法:我们用一个神经网络把输入(输入通常还会增加一些噪声)变成一个低维的特征,这就是编码部分。再用一个Decoder尝试把特征恢复成原始的信号。