知识卡片
Embedding的四重意义
Embedding 起源于 word2vec 的 Word Embedding,取代了此前稀疏、高维、承载信息极少的独热编码。作为一种新思想,它的意义可归纳为四点:把自然语言转化为一串数字,使语言可以计算;替代独热编码,大幅降低特征维度;替代协同矩阵,大幅降低计算复杂度;在训练过程中不断学习,从而获得各种信息。其表现力很强,语句、用户浏览轨迹、序列或不连续的类别特征、物品都能被表示。词嵌入矩阵中,男、女、国王、王后、苹果等词的向量已学到性别、王室、年龄、食物等信息,这正是“表示准确反映背后逻辑”的含义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 Embedding技术总结 · 查看原书依据
把自然语言转化为一串数字,从此自然语言可以计算; 替代独热编码,极大地降低了特征的维度; 替代协同矩阵,极大地降低了计算复杂度; 在训练过程中不断学习,从而获得各种信息
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第16章 Embedding技术总结(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter20_0001.xhtml)
- 结论依据:原文在 16.1.1 节先对比独热编码与 Word Embedding,再以列举方式给出 Embedding 的四方面意义,并用词嵌入矩阵示例说明学到的语义信息。
- 原始内容:把自然语言转化为一串数字,从此自然语言可以计算; 替代独热编码,极大地降低了特征的维度; 替代协同矩阵,极大地降低了计算复杂度; 在训练过程中不断学习,从而获得各种信息