原书出处
大数据日知录_架构与算法
附B 延伸阅读
MapReduce作为当前最典型的大数据批处理计算模型,已经在工业界获得了极为广泛的使用。Google的这篇发表于2004年的论文对整个大数据系统的发展具有至关重要的作用,其与2003年发表的GFS论文是催生Hadoop的直接范型。尽管2009年前后以Stone Braker为首的并行数据库领域专家对MR模型提出质疑并引发和Jaffrey Dean等人的技术争论,但是最终的结论是MR和MPP各自有优略且两者有一定互补和相互学习之处。与传统的MPP相比,MR更适合非结构化数据的ETL处理类操作,并且其可扩展性及容错性明显占优,但是单机处理效率较低。尽管MR提供了简洁的编程接口及完善的容错处理机制,使得大规模并发处理海量数据成为可能,但从发展趋势看, 相对复杂的任务转换为MR任务的开发效率还是不够高,所以其有逐步被封装到下层的趋势,即在上层系统提供更为简洁方便的应用开发接口,在底层由系统自动转换为大量的MR任务,这一点值得关注。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00024.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d