知识卡片
Word2vec训练与查找表
Word2vec的训练从构造样本开始:选定长度为2c+1的滑动窗口,在句子上从左到右滑动,每移动一次窗口内的词组就构成一个训练样本。优化目标基于极大似然估计,希望相邻词的条件概率之积最大,条件概率用词向量内积套softmax定义,再用梯度下降求解。这里有一个容易忽略的细节:输入词和输出词处在两个不同的向量空间,分别对应输入层到隐层的权重矩阵和隐层到输出层的权重矩阵。训练完成后,输入层到隐层的权重矩阵每一行就是对应词的词向量,这个矩阵转化为查找表,把one-hot输入直接映射成稠密Embedding。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 Embedding技术在推荐系统中的应用 · 查看原书依据
为了基于语料库生成模型的训练样本,选取一个长度为2c+1(目标词前后各选c个词)的滑动窗口,从语料库中抽取一个句子,将滑动窗口由左至右滑动,每移动一次,窗口中的词组就形成了一个训练样本。
参考来源
- 位置:《深度学习推荐系统》第4章 Embedding技术在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0008_split_002.html)
- 结论依据:原文4.2.2节描述了滑动窗口抽样、极大似然与softmax目标、输入/输出向量分属不同空间,以及权重矩阵转化为查找表的过程。
- 原始内容:为了基于语料库生成模型的训练样本,选取一个长度为2c+1(目标词前后各选c个词)的滑动窗口,从语料库中抽取一个句子,将滑动窗口由左至右滑动,每移动一次,窗口中的词组就形成了一个训练样本。