知识卡片
输出层铺满整个词表
掩码模型的输出张量形状是 [batch, seq_length, vocab],最后一维等于词表大小,而不是类别数。也就是说,序列中每个位置都得到一份覆盖整个词表的打分,分数越高表示该位置越可能是某个词。训练时只在被遮位置把这份分布与真实词编号做交叉熵;推理时对某个位置取最大值,就得到填入该位置的最佳词。这一设计把语言理解统一成了“词表上的分类”:词表有多大,输出就有多宽,任务不需要另设标签体系。代价是输出层参数量随词表线性增长,词表越大,最后这层越占显存,因此大词表模型的输出层往往占据可观的参数份额。原文演示的输出形状为 [2, 20, 30522],正是两个句子、二十个位置、每处三万多个候选词的结构,见[[负一百标记忽略非掩码位]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- BERT模型核心实现与预训练 · 查看原书依据
(5)MLMTask:掩码语言模型任务的实现,包含词嵌入、编码器和输出层。模型接收带有遮掩的输入,经过编码器处理后输出预测的词汇分布。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0002.xhtml)
- 结论依据:原文说明 MLMTask 由词嵌入、编码器和输出层组成,编码后输出预测的词汇分布,并在运行结果中给出词表维度的输出形状。
- 原始内容:(5)MLMTask:掩码语言模型任务的实现,包含词嵌入、编码器和输出层。模型接收带有遮掩的输入,经过编码器处理后输出预测的词汇分布。