知识卡片

操作参考卡 · 9906.c · 生成模型:Hunyuan

Word2vec训练与查找表

理解等级:中级

Word2vec的训练从构造样本开始:选定长度为2c+1的滑动窗口,在句子上从左到右滑动,每移动一次窗口内的词组就构成一个训练样本。优化目标基于极大似然估计,希望相邻词的条件概率之积最大,条件概率用词向量内积套softmax定义,再用梯度下降求解。这里有一个容易忽略的细节:输入词和输出词处在两个不同的向量空间,分别对应输入层到隐层的权重矩阵和隐层到输出层的权重矩阵。训练完成后,输入层到隐层的权重矩阵每一行就是对应词的词向量,这个矩阵转化为查找表,把one-hot输入直接映射成稠密Embedding。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第4章 Embedding技术在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0008_split_002.html) - 结论依据:原文4.2.2节描述了滑动窗口抽样、极大似然与softmax目标、输入/输出向量分属不同空间,以及权重矩阵转化为查找表的过程。 - 原始内容:为了基于语料库生成模型的训练样本,选取一个长度为2c+1(目标词前后各选c个词)的滑动窗口,从语料库中抽取一个句子,将滑动窗口由左至右滑动,每移动一次,窗口中的词组就形成了一个训练样本。