知识卡片
下一个词预测的输入标签错位
语言模型将文本映射为词索引,将连续序列切成批次和时间窗口。输入 [The, brown] 的目标可以是 [brown, fox]:每个时间步预测下一个词。词索引是整数,嵌入层按索引取出可训练的稠密向量,等价于用独热向量选取嵌入矩阵的一行,但无需真的构造独热向量。连续片段可延续对应状态,训练时沿窗口展开并更新参数;验证和测试应使用各自数据及正确的状态边界。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- LSTM长短记,长序依赖可追忆 15.10 Penn Treebank 实战 · 查看原书依据
y'的每个元素都刚好为x的同位置单词的下一个词汇
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.10 Penn Treebank 实战(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0010.xhtml#txt015_28)
- 结论依据:正文、批次示意及代码;数学定义和适用边界用于纠正简化说法。
- 原始内容:y'的每个元素都刚好为x的同位置单词的下一个词汇