知识卡片

普通读书笔记卡 · 9851.e · 生成模型:Hunyuan

查找表与权重初始化

理解等级:中级

Embedding.weight是随训练变化的可学习参数,形状固定为(num_embeddings, embedding_dim);输入必须是LongTensor索引,输出在输入形状后接上embedding_dim维。原文用10个词、3维向量的例子说明:先建一张10×3的表,再把形如[[1,2,4,5],[4,3,2,9]]的索引送进去,得到的就是每行对应的三个数。初始化方面,源码里reset_parameters调用init.normal_,即从正态分布采样填表;值得注意的是文中变量说明写的是N(0,10)而normal_默认标准差为1,两者表述并不一致,实际行为应以当前版本源码为准。查表机制本身不涉及矩阵乘法,这是它和全连接层的根本区别。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 获取Embedding的方法 · 查看原书依据

      Embedding.weight为可学习参数,其形状为(num_embeddings, embedding_dim),初始化为标准正态分布(N(0, 10))。 输入说明:input(*),数据类型LongTensor,一般为[mini-batch,nums of index]。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0001.xhtml) - 结论依据:原文先给出weight形状、LongTensor输入与带embedding_dim的输出约定,又以10词3维实例演示查表,并从reset_parameters追到init.normal_的源码。 - 原始内容:Embedding.weight为可学习参数,其形状为(num_embeddings, embedding_dim),初始化为标准正态分布(N(0, 10))。 输入说明:input(*),数据类型LongTensor,一般为[mini-batch,nums of index]。