知识卡片

普通读书笔记卡 · 3089.g

框架性能来自并行与算子

理解等级:中级

流计算框架的性能并非来自神奇黑盒:一方面把任务拆成子任务并行执行,另一方面提供长期优化的统计与转换算子。使用框架既减少手写分布式统计的代码,也复用成熟优化;真正收益仍取决于任务能否分摊以及数据分布。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 29-流计算与消息(一):通过Flink理解流计算的原理 · 查看原书依据

      它能自动拆分计算任务来实现并行计算,这个和Hadoop中Map Reduce的原理是一样的。另外一个原因是,流计算框架中,都内置了很多常用的计算和统计分析的算子,这些算子的实现都是经过很多大神级程序员反复优化过的,不仅能方便我们开发,性能上也比大多数程序员自行实现要快很

    参考来源

    - 位置:《消息队列高手课》第29章《29-流计算与消息(一):通过Flink理解流计算的原理》(来源项目:book-sources;源文件:extracted/消息队列高手课/_epub-src/text/part0033_split_004.html;spine 188) - 结论依据:原文说明流计算框架的性能并非来自神奇黑盒:一方面把任务拆成子任务并行执行,另一方面提供长期优化的统计与转换算子。本卡以本节实际案例及分析版本为边界。 - 原始内容:它能自动拆分计算任务来实现并行计算,这个和Hadoop中Map Reduce的原理是一样的。另外一个原因是,流计算框架中,都内置了很多常用的计算和统计分析的算子,这些算子的实现都是经过很多大神级程序员反复优化过的,不仅能方便我们开发,性能上也比大多数程序员自行实现要快很