知识卡片
Embedding关键参数
num_embeddings决定查找表有多少行,必须不小于语料字典的最大索引;embedding_dim决定每行多长,也就是词向量维度。padding_idx把指定下标的输出固定为零向量,常留给填充符,避免补齐部分干扰语义。max_norm配合norm_type会把嵌入向量重新归一化到给定范数以内,防止少数词的向量范数爆炸;不过原文提醒这两个参数现在基本不用,实践中更常交给kaiming、xavier初始化。scale_grad_by_freq则按小批量内的词频倒数缩放梯度,让高频词的更新步子小一些,注意它统计的是当前批次而非全词典。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 获取Embedding的方法 · 查看原书依据
num_embeddings(int):语料库字典大小。 embedding_dim(int):每个嵌入向量的大小。 padding_idx(int, optional):输出遇到此下标时用零填充(如果提供的话)。 max_norm(float, optional):重新归一化词嵌入,使它们的范数小于提供的值(如果提供的话)。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0001.xhtml)
- 结论依据:原文逐项给出了num_embeddings、embedding_dim、padding_idx、max_norm、norm_type、scale_grad_by_freq的含义与默认行为,并点明max_norm与norm_type已较少使用。
- 原始内容:num_embeddings(int):语料库字典大小。 embedding_dim(int):每个嵌入向量的大小。 padding_idx(int, optional):输出遇到此下标时用零填充(如果提供的话)。 max_norm(float, optional):重新归一化词嵌入,使它们的范数小于提供的值(如果提供的话)。