← 返回起始笔记位置

知识卡片

操作参考卡 · 9851.c · 生成模型:Hunyuan

Embedding关键参数

理解等级:中级

num_embeddings决定查找表有多少行,必须不小于语料字典的最大索引;embedding_dim决定每行多长,也就是词向量维度。padding_idx把指定下标的输出固定为零向量,常留给填充符,避免补齐部分干扰语义。max_norm配合norm_type会把嵌入向量重新归一化到给定范数以内,防止少数词的向量范数爆炸;不过原文提醒这两个参数现在基本不用,实践中更常交给kaiming、xavier初始化。scale_grad_by_freq则按小批量内的词频倒数缩放梯度,让高频词的更新步子小一些,注意它统计的是当前批次而非全词典。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 获取Embedding的方法 · 查看原书依据

      num_embeddings(int):语料库字典大小。 embedding_dim(int):每个嵌入向量的大小。 padding_idx(int, optional):输出遇到此下标时用零填充(如果提供的话)。 max_norm(float, optional):重新归一化词嵌入,使它们的范数小于提供的值(如果提供的话)。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0001.xhtml) - 结论依据:原文逐项给出了num_embeddings、embedding_dim、padding_idx、max_norm、norm_type、scale_grad_by_freq的含义与默认行为,并点明max_norm与norm_type已较少使用。 - 原始内容:num_embeddings(int):语料库字典大小。 embedding_dim(int):每个嵌入向量的大小。 padding_idx(int, optional):输出遇到此下标时用零填充(如果提供的话)。 max_norm(float, optional):重新归一化词嵌入,使它们的范数小于提供的值(如果提供的话)。