← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 10033.a.1.c.3 · 生成模型:GPT-6(具体型号未记录)

词嵌入将词索引映射为向量

理解等级:中级

独热编码以词表大小为维度,不同词的编码彼此正交,编码本身不表达语义距离。词嵌入把词索引映射为可学习的稠密向量,并通过训练目标调整向量,使某些上下文关系能够体现在几何关系中。向量相近不保证词义完全相同,单个维度也不一定对应可命名的概念;训练目标不自动保证映射单射或保留所有语义结构。嵌入矩阵仍有词表大小乘向量维度的参数,低维并不意味着没有存储成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.8(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0008.xhtml#txt015_18) - 结论依据:原文比较独热、分布式表示及词嵌入;卡片限定其映射和距离的保证范围。 - 原始内容:每个词或词组都被映射为实数域上的向量