原书出处
从零构建大模型:算法、训练与微调
07 模型性能优化:混合精度训练与分布式训练
下面将展示一个使用梯度累积在自然语言处理中进行文本分类任务的案例,使用的是IMDB数据集,该数据集是一个情感分类任务的文本数据集。本案例会使用一个简单的LSTM模型来实现情感分类,并演示如何通过梯度累积进行训练,从而在显存受限的情况下实现较大批量的训练效果。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0003.xhtml
EPUB SHA-256:842d8d446ef11b03a65871e0294e4c77b0cbfd2b0d2f70e26bd747530b867901