← 返回卡片

原书出处

大数据日知录_架构与算法

附B 延伸阅读

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.106Z

MapReduce作为当前最典型的大数据批处理计算模型,已经在工业界获得了极为广泛的使用。Google的这篇发表于2004年的论文对整个大数据系统的发展具有至关重要的作用,其与2003年发表的GFS论文是催生Hadoop的直接范型。尽管2009年前后以Stone Braker为首的并行数据库领域专家对MR模型提出质疑并引发和Jaffrey Dean等人的技术争论,但是最终的结论是MR和MPP各自有优略且两者有一定互补和相互学习之处。与传统的MPP相比,MR更适合非结构化数据的ETL处理类操作,并且其可扩展性及容错性明显占优,但是单机处理效率较低。尽管MR提供了简洁的编程接口及完善的容错处理机制,使得大规模并发处理海量数据成为可能,但从发展趋势看, 相对复杂的任务转换为MR任务的开发效率还是不够高,所以其有逐步被封装到下层的趋势,即在上层系统提供更为简洁方便的应用开发接口,在底层由系统自动转换为大量的MR任务,这一点值得关注。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00024.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d

本卡其他出处