知识卡片
双向语境而非单向预测
双向语境指编码某个词时同时读取它左边和右边的词。只保留编码器、去掉因果掩码之后,注意力矩阵对整句开放:同一个“苹果”,在“吃苹果”与“苹果发布新机”里会因邻居不同而得到不同的向量表示。这与逐词生成的自回归模型形成对照——后者必须遮住未来位置,否则等于让模型抄答案。双向的代价是失去自回归生成能力:每个位置都已看过全句,无法再用“预测下一个词”作为训练目标。于是监督信号被改成挖空填词,让模型依据两侧上下文还原被遮的词,见[[掩码预测作为预训练任务]]。信息通路与训练目标在这里互相成全:没有双向,填空缺少足够线索;没有填空,双向表示拿不到学习信号。理解这一点,就理解了 BERT 为何是“编码器加掩码任务”这一固定搭配。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- BERT模型核心实现与预训练 · 查看原书依据
BERT模型采用Transformer架构中的编码器堆叠方式,通过多层次的自注意力捕捉文本序列中的复杂依赖关系,充分利用双向语境信息,来增强模型的语言理解能力。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0001.xhtml)
- 结论依据:原文指出 BERT 采用编码器堆叠以充分利用双向语境信息,并在同节说明自注意力使每个词同时关注前后文。
- 原始内容:BERT模型采用Transformer架构中的编码器堆叠方式,通过多层次的自注意力捕捉文本序列中的复杂依赖关系,充分利用双向语境信息,来增强模型的语言理解能力。