返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

操作参考卡 · 1776.h

纯过滤可省归约阶段

理解等级:中级

若每条记录只需独立判断谓词并输出满足条件的原记录,可以把过滤全部放在Map,不配置无用Reduce。用于清洗日志或提取目标用户记录时,过滤条件本身必须明确;一旦涉及跨记录去重、分组或全局排名,就不能再按独立过滤处理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      简单过滤即根据一定条件从海量数据中筛选出满足条件的记录。我们假设存在一个函数f 对记 录内容进行判断,并以返回True或者False作为判断结果,这个函数即是记录满足条件与否的判断标准,不同应用只是这个函数内容不同而已,其整体处理逻辑是一致的。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落65(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:简单过滤即根据一定条件从海量数据中筛选出满足条件的记录。我们假设存在一个函数f 对记 录内容进行判断,并以返回True或者False作为判断结果,这个函数即是记录满足条件与否的判断标准,不同应用只是这个函数内容不同而已,其整体处理逻辑是一致的。