返回主题:数据集成与分拆:一份真源与多份衍生

知识卡片

普通读书笔记卡 · 5404.b.6.a.1

小批数据不宜重复承担作业开销

理解等级:中级

当每次处理的数据很少,作业启动、中间结果及磁盘往返等固定成本会占据主要时间。收集层先连续接入并整理数据,分析层再按适当批量执行,可使两种负载分别优化。批量变大又会增加等待,因此应按吞吐和时效目标取舍,不能只用单次作业速度判断整条数据链路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据通道 · 查看原书依据

      Chukwa整体效率不太高,其主要瓶颈在于Demux,整个数据流动到此后吞吐量急剧下降,这主要是MR任务的启动开销及中间数据和结果数据多次磁盘读/写造成的。Chukwa的作者寄希望于Hadoop的改进能够缓解此问题,很明显这过于乐观,因为MR任务本身的特性决定了其不太适合使用在这种有一定时效性要求的应用场景。另外,Chukwa的设计思路希望集成数据收集和数据分析,这造成其设计思路不够单一和明确,因为数据收集和数据分析这两种任务各自优化目标大不相同甚至有些矛盾。与其如此,不如将其专一定位在数据收集领域,做好自己擅长的事情,因为数据分析有更多更专业的OLAP系统,比如Hive/Impala等可以做得更好。从这里可以看出,Chukwa因其定位不够清晰造成整个系统无特色、无明显优势,与其他类似系统相比其发展前景堪忧。

    参考来源

    - 位置:《大数据日知录:架构与算法》7(源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00012.html) - 结论依据:本章实际原文及必要原图;产品与性能描述保留2014年版本范围。校正的官方入口及实际阅读范围见50-root-official.json。 - 原始内容:Chukwa整体效率不太高,其主要瓶颈在于Demux,整个数据流动到此后吞吐量急剧下降,这主要是MR任务的启动开销及中间数据和结果数据多次磁盘读/写造成的。Chukwa的作者寄希望于Hadoop的改进能够缓解此问题,很明显这过于乐观,因为MR任务本身的特性决定了其不太适合使用在这种有一定时效性要求的应用场景。另外,Chukwa的设计思路希望集成数据收集和数据分析,这造成其设计思路不够单一和明确,因为数据收集和数据分析这两种任务各自优化目标大不相同甚至有些矛盾。与其如此,不如将其专一定位在数据收集领域,做好自己擅长的事情,因为数据分析有更多更专业的OLAP系统,比如Hive/Impala等可以做得更好。从这里可以看出,Chukwa因其定位不够清晰造成整个系统无特色、无明显优势,与其他类似系统相比其发展前景堪忧。