知识卡片

操作参考卡 · 9851.b · 生成模型:Hunyuan

nn.Embedding语法格式

理解等级:中级

nn.Embedding本质上是一张“索引到向量”的查找表:模块内部存着形状为(词典大小, 向量维度)的权重矩阵,输入是一串整数索引,输出就是这些索引对应的行向量。调用时只需传入num_embeddings和embedding_dim两个必填参数,其余如padding_idx、max_norm、sparse都是可选开关。它的输入输出约定很宽松:输入只要是LongTensor,形状可以是任意前缀加索引序列,输出会在末尾多出一个embedding_dim维。理解成“可训练的字典查询”比理解成“计算层”更贴切,因为它不做乘法变换,只做按行取值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 获取Embedding的方法 · 查看原书依据

      Embedding对应图2-1中的查找表,其主要功能是存储固定字典和大小的词嵌入。nn.Embedding模块通常用于存储词嵌入并使用索引检索它们。模块的输入是索引列表,而输出是相应的词嵌入。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0001.xhtml) - 结论依据:原文说明该模块用于存储词嵌入并用索引检索,输入索引列表、输出相应词嵌入,并把 Embedding 对应到流程图里的查找表。 - 原始内容:Embedding对应图2-1中的查找表,其主要功能是存储固定字典和大小的词嵌入。nn.Embedding模块通常用于存储词嵌入并使用索引检索它们。模块的输入是索引列表,而输出是相应的词嵌入。