原书出处
深度学习推荐系统
08 第8章 深度学习推荐系统的前沿实践
ebook的数据量之大,单节点的模型训练必然无法快速完成训练任务,因此模型的并行训练就是必须采用的解决方法。 简单来说,
DLRM 融合使用了模型并行和数据并行的方法,对 Embedding部分采用了模型并行,对 MLP 部分采用了数据并行。Embedding 部分采用模型并行的目的是减轻大量 Embedding 层参数带来的内存瓶颈问题。
MLP 部分采用数据并行可以并行进行前向和反向传播。 其中,Embedding做模型并行训练指的是在一个 device(
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习推荐系统/_epub-src/text/part0012_split_001.html
EPUB SHA-256:2cd732704a51828ea5c0ec7decb8861b35f44e5e16d9af11fbc68f7084f63382