知识卡片

普通读书笔记卡 · 9851.d · 生成模型:Hunyuan

稀疏梯度与优化器

理解等级:高级

sparse=True的初衷是让反向传播只更新本批次真正用到的那些词的权重行,从而加快大词表下的更新。但它只是“意图”,不是“保证”:带动量的优化器(如momentumSGD、Adam)会给未出现的词继续累积动量,等于把稀疏更新又抹平;而weight_decay这类正则项把所有权重的惩罚计入损失,同样会让整张表被改动。所以要真正拿到稀疏更新的收益,得同时检查优化器是否无动量、是否关闭权重衰减。这个例子说明框架开关和实际数值行为之间可能隔着一层实现细节,性能敏感场景应当实测梯度矩阵的稀疏度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 获取Embedding的方法 · 查看原书依据

      所谓稀疏张量是指反向传播时只更新当前使用词的权重矩阵,以加快更新速度。不过,即使设置sparse=True,权重矩阵也未必稀疏更新,原因如下: 1)与优化器相关,使用momentumSGD、Adam等优化器时包含momentum项,导致不相关词的Embedding依然会叠加动量,无法稀疏更新;

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0001.xhtml) - 结论依据:原文在解释sparse参数后特别补了一段“未必稀疏更新”的说明,明确把动量项与weight_decay列为两个失效原因。 - 原始内容:所谓稀疏张量是指反向传播时只更新当前使用词的权重矩阵,以加快更新速度。不过,即使设置sparse=True,权重矩阵也未必稀疏更新,原因如下: 1)与优化器相关,使用momentumSGD、Adam等优化器时包含momentum项,导致不相关词的Embedding依然会叠加动量,无法稀疏更新;