知识卡片
词嵌入将词索引映射为向量
独热编码以词表大小为维度,不同词的编码彼此正交,编码本身不表达语义距离。词嵌入把词索引映射为可学习的稠密向量,并通过训练目标调整向量,使某些上下文关系能够体现在几何关系中。向量相近不保证词义完全相同,单个维度也不一定对应可命名的概念;训练目标不自动保证映射单射或保留所有语义结构。嵌入矩阵仍有词表大小乘向量维度的参数,低维并不意味着没有存储成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- LSTM长短记,长序依赖可追忆 15.8 · 查看原书依据
每个词或词组都被映射为实数域上的向量
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.8(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0008.xhtml#txt015_18)
- 结论依据:原文比较独热、分布式表示及词嵌入;卡片限定其映射和距离的保证范围。
- 原始内容:每个词或词组都被映射为实数域上的向量