知识卡片

普通读书笔记卡 · 6473.d.4.a · 生成模型:未记录

BERT掩码语言模型

理解等级:中级

BERT 的双向 Transformer 编码器根据上下文预测选中位置的原词元,使用分类损失训练。输入中选中位置可被掩码或随机词替换;原始 BERT 还用下一句预测,但后续模型可采用不同目标,不能将它视为所有编码器必需步骤。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自监督学习 10.1 BERT · 查看原书依据

      如何训练 BERT?如图10.5 所示,我们知道被掩码的字符是“度”,而 BERT 不知道. 因此,训练的目标是输出一个尽可能接近真实答案的字符,即字符“度”. 独热编码可以用来表示字符,并最小化输出和独热向量之间的交叉熵损失.这个问题可以看成一个分类问题,只是类的数量和汉字的数量一样多. 若我们要考虑的汉字的数量为 4000,则该问题就是一个 4000类的分类问题. BERT 要做的就是成功预测掩码的地方属于的类,在这个例子中,就是“度”. 在训练过程中,在 BERT 之后添加一个线性模型并将它们一起训练. 所以,BERT的内部是一个Transformer编码器,它有一些参数. 线性模型是一个矩阵,它也有一些参数,尽管与 BERT相比要少得多. 我们需要联合训练BERT和线性模型并尝试预测被掩码的字符.

    参考来源

    - 位置:《深度学习详解》第10章《自监督学习》10.1 BERT(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml`) - 结论依据:原文说明预训练任务、模型迁移和下游用法;结论保留数据与任务条件。 - 原始内容:如何训练 BERT?如图10.5 所示,我们知道被掩码的字符是“度”,而 BERT 不知道. 因此,训练的目标是输出一个尽可能接近真实答案的字符,即字符“度”. 独热编码可以用来表示字符,并最小化输出和独热向量之间的交叉熵损失.这个问题可以看成一个分类问题,只是类的数量和汉字的数量一样多. 若我们要考虑的汉字的数量为 4000,则该问题就是一个 4000类的分类问题. BERT 要做的就是成功预测掩码的地方属于的类,在这个例子中,就是“度”. 在训练过程中,在 BERT 之后添加一个线性模型并将它们一起训练. 所以,BERT的内部是一个Transformer编码器,它有一些参数. 线性模型是一个矩阵,它也有一些参数,尽管与 BERT相比要少得多. 我们需要联合训练BERT和线性模型并尝试预测被掩码的字符.