知识卡片
稀疏梯度与优化器
sparse=True的初衷是让反向传播只更新本批次真正用到的那些词的权重行,从而加快大词表下的更新。但它只是“意图”,不是“保证”:带动量的优化器(如momentumSGD、Adam)会给未出现的词继续累积动量,等于把稀疏更新又抹平;而weight_decay这类正则项把所有权重的惩罚计入损失,同样会让整张表被改动。所以要真正拿到稀疏更新的收益,得同时检查优化器是否无动量、是否关闭权重衰减。这个例子说明框架开关和实际数值行为之间可能隔着一层实现细节,性能敏感场景应当实测梯度矩阵的稀疏度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 获取Embedding的方法 · 查看原书依据
所谓稀疏张量是指反向传播时只更新当前使用词的权重矩阵,以加快更新速度。不过,即使设置sparse=True,权重矩阵也未必稀疏更新,原因如下: 1)与优化器相关,使用momentumSGD、Adam等优化器时包含momentum项,导致不相关词的Embedding依然会叠加动量,无法稀疏更新;
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0001.xhtml)
- 结论依据:原文在解释sparse参数后特别补了一段“未必稀疏更新”的说明,明确把动量项与weight_decay列为两个失效原因。
- 原始内容:所谓稀疏张量是指反向传播时只更新当前使用词的权重矩阵,以加快更新速度。不过,即使设置sparse=True,权重矩阵也未必稀疏更新,原因如下: 1)与优化器相关,使用momentumSGD、Adam等优化器时包含momentum项,导致不相关词的Embedding依然会叠加动量,无法稀疏更新;