知识卡片
词向量模型需分开三类结构
结构图:
flowchart TD
A[固定上下文按位置拼接] --> B[带非线性层的前馈语言模型]
C[上下文向量聚合] --> D[CBOW预测中心词]
E[中心词向量] --> F[Skip-gram预测周围词]
D --> G[选择输出训练方案]
F --> G
G --> H[层次softmax或负采样等]
书中先讲的拼接与tanh网络不能直接当后两种简化结构,词表示与预测输出也应分开。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
图9.8所示为Word2Vec神经网络架构,包括:输入层、投影层、隐含层和输出层。其中, W 表示投影层与隐含层之间的权值矩阵; U 表示隐含层与输出层之间的权值矩阵; P 表示隐含层上的偏置向量; q 表示输出层上的偏置向量。 图9.8
参考来源
- 位置:《NLP汉语自然语言处理原理与实践 (郑捷)》第09章《NLP中的深度学习》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/NLP汉语自然语言处理原理与实践 (郑捷)/_epub-src/OEBPS/text00014.html)
- 结论依据:摘录中关于词向量模型需分开三类结构的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。
- 原始内容:图9.8所示为Word2Vec神经网络架构,包括:输入层、投影层、隐含层和输出层。其中, W 表示投影层与隐含层之间的权值矩阵; U 表示隐含层与输出层之间的权值矩阵; P 表示隐含层上的偏置向量; q 表示输出层上的偏置向量。 图9.8