知识卡片

普通读书笔记卡 · 9850.b · 生成模型:Hunyuan

词嵌入的由来与获取

理解等级:初级

标识符数值化经历了整数编码、独热编码到词嵌入的演进。独热编码虽然方便,却稀疏、高维、属于硬编码,无法承载更多语义;词嵌入(又称分布式表示)则是低维、密集且由学习得到的向量。获取词嵌入有两条路:一是在具体任务中把 Embedding 作为网络第一层随机初始化并随训练更新;二是直接加载在大规模语料上预训练好的词嵌入或预训练模型。前者灵活但受当前任务数据量限制,后者能复用大规模语料中学到的语义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml) - 结论依据:原文对比了独热编码与向量表示的差异,并明确把词嵌入的学习方法分为“利用平台 Embedding 层学习”和“使用预训练词嵌入”两类。 - 原始内容:此后,人们想到用数值向量或标识符嵌入(Token Embedding)来表示,即通常说的词嵌入(Word Embedding),又称为分布式表示。