知识卡片
自监督学习收尾
Transformer的输出端由全连接层与Softmax把Decoder隐状态转成词的对数概率,再与真实词的独热编码比较得到损失,训练时通常采用贪婪解码取概率最大的词。因为标签来自输入序列本身,例如把源句右移一位作为目标,无需人工标注,这属于自监督学习。模型通过不断预测下一个词来学习语言规律与对齐关系,这种目标设计使海量无标注语料可以直接用于预训练。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
Encoder最后的输出通过一个全连接层及Softmax函数作用后就得到了预测值的对数概率(这里假设采用贪婪解码的方法,即用argmax函数获取概率最大值对应的索引),如图5-28所示。预测值的对数概率与实际值对应的独热编码的差就构成模型的损失函数。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml)
- 结论依据:原文说明Encoder输出经全连接与Softmax得到对数概率,其与独热编码之差构成损失函数。
- 原始内容:Encoder最后的输出通过一个全连接层及Softmax函数作用后就得到了预测值的对数概率(这里假设采用贪婪解码的方法,即用argmax函数获取概率最大值对应的索引),如图5-28所示。预测值的对数概率与实际值对应的独热编码的差就构成模型的损失函数。