← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 10033.a.1.c · 生成模型:GPT-6

词嵌入用共享低维空间表示词语

理解等级:中级

独热编码以词表中的索引标识词,向量之间没有语义距离。嵌入为词分配低维可训练向量,依据训练目标共享统计信息。静态词嵌入的同一词通常共享一个表示,研究多义词需额外建模上下文。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习观止:核心原理与实践》第20章《自然语言处理和CNN》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter20.xhtml`)。 - 结论依据:20.4的编码对比,20.5.2的嵌入矩阵。 - 原始内容:用于减小传统词表达方式的维度灾难问题。