← 返回刚才阅读的位置

知识卡片

结构图卡 · 9354.a · 生成模型:GPT-6

词向量模型需分开三类结构

理解等级:中级

结构图:

flowchart TD
 A[固定上下文按位置拼接] --> B[带非线性层的前馈语言模型]
 C[上下文向量聚合] --> D[CBOW预测中心词]
 E[中心词向量] --> F[Skip-gram预测周围词]
 D --> G[选择输出训练方案]
 F --> G
 G --> H[层次softmax或负采样等]

书中先讲的拼接与tanh网络不能直接当后两种简化结构,词表示与预测输出也应分开。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      图9.8所示为Word2Vec神经网络架构,包括:输入层、投影层、隐含层和输出层。其中, W 表示投影层与隐含层之间的权值矩阵; U 表示隐含层与输出层之间的权值矩阵; P 表示隐含层上的偏置向量; q 表示输出层上的偏置向量。 图9.8

    参考来源

    - 位置:《NLP汉语自然语言处理原理与实践 (郑捷)》第09章《NLP中的深度学习》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/NLP汉语自然语言处理原理与实践 (郑捷)/_epub-src/OEBPS/text00014.html) - 结论依据:摘录中关于词向量模型需分开三类结构的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。 - 原始内容:图9.8所示为Word2Vec神经网络架构,包括:输入层、投影层、隐含层和输出层。其中, W 表示投影层与隐含层之间的权值矩阵; U 表示隐含层与输出层之间的权值矩阵; P 表示隐含层上的偏置向量; q 表示输出层上的偏置向量。 图9.8