知识卡片

普通读书笔记卡 · 2280.i.9

MapReduce居于中间

理解等级:未标注

MapReduce 介于声明式与命令式之间:查询逻辑写成 map 与 reduce 两个函数,由框架反复调用。关键约束是两个函数必须是纯函数,不查询数据库、没有副作用;这让框架可以以任意顺序执行,失败时安全重跑,是分布式批处理容错的基础。但它作为查询接口不好用:要写两个配合的函数,也少了优化器自动优化的机会,所以后来又在其上加了声明式接口,等于重新发明了 SQL。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第二章《数据模型与查询语言》"MapReduce查询" (源文件:_epub-src/ch2_split_003.html) - 结论依据:原文说明MapReduce处于声明式和命令式之间,map和reduce函数必须是纯函数 不能有副作用,这一限制允许数据库以任意顺序运行并在失败时重新运行这些函数,并指出 MapReduce的可用性问题促使MongoDB后来增加声明式的聚合管道,直接支撑本卡片结论。 - 原始内容:MapReduce既不是一个声明式的查询语言,也不是一个完全命令式的查询API,而是处于两者之间……map和reduce函数在功能上有所限制:它们必须是纯函数……这些限制允许数据库以任何顺序运行任何功能,并在失败时重新运行它们……MongoDB 2.2添加了一种叫做聚合管道的声明式查询语言的支持