原书出处
大数据日知录_架构与算法
11 大规模批处理系统
一般认为MapReduce的缺点包括:无高层抽象数据操作语言、数据无Schema及索引、单节点效率低下、任务流描述方法单一等。其中前两个缺点其实并不能认为是其真正的缺点,因为其设计初衷就是高吞吐、高容错的批处理系统,所以不包含这两个特性是很正常的。在目前的大数据处理架构范型下,试图构造满足所有类型应用各种不同特性要求的处理系统是不现实、也不明智的,最好的发展思路是对特定领域制定特定系统,这样可以在系统设计时充分强调领域特色的专用设计以使其效率达到最优,而不是去追求大而全但是各方面表现都平庸的系统。至于后两个缺点确实是客观存在的,对于任务流描述单一这个缺点,可以考虑将其拓展成更为通用的DAG计算模型来解决。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00016.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d