原书出处
深度学习推荐系统
06 第6章 深度学习推荐系统的工程实现
需要在不同计算节点之间进行数据交换,非常消耗计算、通信及存储资源,因此shuffle操作是spark程序应该尽量避免的。
一句话总结Spark的计算过程:Stage内部数据高效并行计算,Stage边界处进行消耗资源的shuffle操作或者最终的reduce操作。
6.2.2 Spark MLlib的模型并行训练原理 有了Spark分布式计算过程的基础,就可以更清晰地理解Spark
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习推荐系统/_epub-src/text/part0010_split_002.html
EPUB SHA-256:2cd732704a51828ea5c0ec7decb8861b35f44e5e16d9af11fbc68f7084f63382