知识卡片
文本分类中的梯度累积
梯度累积不绑定任务类型,它改动的位置始终在训练循环,而不在模型结构。以 IMDB 情感分类为例:文本先分词并映射为词表索引,送入嵌入层,再由 LSTM 抽取序列特征,最后经全连接层输出二分类。接入梯度累积只需在损失上除以累积步数、把参数更新与梯度清零挪到累积边界,模型定义与前向逻辑一行不改。
这说明它属于优化器层面的技术,与网络是卷积还是循环无关。任务变化带来的是新的约束:文本序列长度不一,需要截断或补齐到固定长度后才能组成批次;词表规模决定嵌入层参数量,往往比分类头大得多,显存压力集中在嵌入与激活上,而梯度累积缓解的正是这部分。
训练结束后用一句示例文本做预测,输出 1 表示正面、0 表示负面,可视作流程跑通的标志。这个收尾动作也提示:梯度累积这类训练技巧本身不改变推理方式,推理仍是单样本前向。参见 [[梯度累积攒够再更新]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型性能优化:混合精度训练与分布式训练 · 查看原书依据
下面将展示一个使用梯度累积在自然语言处理中进行文本分类任务的案例,使用的是IMDB数据集,该数据集是一个情感分类任务的文本数据集。本案例会使用一个简单的LSTM模型来实现情感分类,并演示如何通过梯度累积进行训练,从而在显存受限的情况下实现较大批量的训练效果。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0003.xhtml)
- 结论依据:原文用 IMDB 数据集与简单 LSTM 演示梯度累积,说明在显存受限时也能通过累积实现较大批量的训练效果,并在训练后用示例文本预测情感。
- 原始内容:下面将展示一个使用梯度累积在自然语言处理中进行文本分类任务的案例,使用的是IMDB数据集,该数据集是一个情感分类任务的文本数据集。本案例会使用一个简单的LSTM模型来实现情感分类,并演示如何通过梯度累积进行训练,从而在显存受限的情况下实现较大批量的训练效果。