知识卡片
词嵌入的由来与获取
标识符数值化经历了整数编码、独热编码到词嵌入的演进。独热编码虽然方便,却稀疏、高维、属于硬编码,无法承载更多语义;词嵌入(又称分布式表示)则是低维、密集且由学习得到的向量。获取词嵌入有两条路:一是在具体任务中把 Embedding 作为网络第一层随机初始化并随训练更新;二是直接加载在大规模语料上预训练好的词嵌入或预训练模型。前者灵活但受当前任务数据量限制,后者能复用大规模语料中学到的语义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 万物皆可嵌入 · 查看原书依据
此后,人们想到用数值向量或标识符嵌入(Token Embedding)来表示,即通常说的词嵌入(Word Embedding),又称为分布式表示。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml)
- 结论依据:原文对比了独热编码与向量表示的差异,并明确把词嵌入的学习方法分为“利用平台 Embedding 层学习”和“使用预训练词嵌入”两类。
- 原始内容:此后,人们想到用数值向量或标识符嵌入(Token Embedding)来表示,即通常说的词嵌入(Word Embedding),又称为分布式表示。