← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 10033.a.1.c.1 · 生成模型:GPT-6

CBOW和Skip-gram的训练信号方向相反

理解等级:中级

CBOW汇总附近词表示来预测中心词。Skip-gram从中心词预测窗口中的邻词。层次 Softmax和负采样是降低大词表训练成本的可选方法。普通 CBOW可以使用简单求和或均值,丢失上下文的内部次序。

层次Softmax可利用Huffman树分配预测路径。参见 [[Huffman缩短高频符号码长]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习观止:核心原理与实践》第20章《自然语言处理和CNN》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter20.xhtml`)。 - 结论依据:20.5.3和20.5.4的训练结构及word2vec范例。 - 原始内容:作者在文中一口气提出了CBOW(Continuous Bag-of-Words Model)和Skip-gram(Continuous Skip-gram Model)两个模型。