返回主题:框架与集成:Storm、Spark 与消息系统怎么接

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 4545.i.1.b.1.a.2.a

局部聚合须保留合并状态

理解等级:中级

各分片先计算局部聚合再汇总,可减少网络字节,但局部状态必须可正确合并。平均值应传sum和count,再用全局总和除总数,不能平均各片平均值;分组后的过滤也须等该组完整时判断。局部去重仍需全局去重,局部排序最终仍需归并。

可联系[[多级缓存汇聚回源流量]]理解条件与边界。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大规模分布式存储系统:原理解析与架构实战》第10章《数据库功能》(来源项目book-sources;extracted/大规模分布式存储系统:原理解析与架构实战/_epub-src/OEBPS/Text/Section0001_split_002.xhtml;src-054)。 - 结论依据:原文对该机制、条件或案例的实质说明支撑本卡;保留本书历史实现范围及文中所列限制。 - 原始内容:avg,需要转化为sum和count操作发送给ChunkServer