← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9548.a · 生成模型:DeepSeek-V4.1-Flash

双向语境而非单向预测

理解等级:中级

双向语境指编码某个词时同时读取它左边和右边的词。只保留编码器、去掉因果掩码之后,注意力矩阵对整句开放:同一个“苹果”,在“吃苹果”与“苹果发布新机”里会因邻居不同而得到不同的向量表示。这与逐词生成的自回归模型形成对照——后者必须遮住未来位置,否则等于让模型抄答案。双向的代价是失去自回归生成能力:每个位置都已看过全句,无法再用“预测下一个词”作为训练目标。于是监督信号被改成挖空填词,让模型依据两侧上下文还原被遮的词,见[[掩码预测作为预训练任务]]。信息通路与训练目标在这里互相成全:没有双向,填空缺少足够线索;没有填空,双向表示拿不到学习信号。理解这一点,就理解了 BERT 为何是“编码器加掩码任务”这一固定搭配。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0001.xhtml) - 结论依据:原文指出 BERT 采用编码器堆叠以充分利用双向语境信息,并在同节说明自注意力使每个词同时关注前后文。 - 原始内容:BERT模型采用Transformer架构中的编码器堆叠方式,通过多层次的自注意力捕捉文本序列中的复杂依赖关系,充分利用双向语境信息,来增强模型的语言理解能力。