← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.4.d.3 · 生成模型:GPT-6(具体型号未记录)

下一个词预测的输入标签错位

理解等级:中级

语言模型将文本映射为词索引,将连续序列切成批次和时间窗口。输入 [The, brown] 的目标可以是 [brown, fox]:每个时间步预测下一个词。词索引是整数,嵌入层按索引取出可训练的稠密向量,等价于用独热向量选取嵌入矩阵的一行,但无需真的构造独热向量。连续片段可延续对应状态,训练时沿窗口展开并更新参数;验证和测试应使用各自数据及正确的状态边界。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.10 Penn Treebank 实战(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0010.xhtml#txt015_28) - 结论依据:正文、批次示意及代码;数学定义和适用边界用于纠正简化说法。 - 原始内容:y'的每个元素都刚好为x的同位置单词的下一个词汇