原书出处
大数据日知录_架构与算法
7 数据通道
Chukwa整体效率不太高,其主要瓶颈在于Demux,整个数据流动到此后吞吐量急剧下降,这主要是MR任务的启动开销及中间数据和结果数据多次磁盘读/写造成的。Chukwa的作者寄希望于Hadoop的改进能够缓解此问题,很明显这过于乐观,因为MR任务本身的特性决定了其不太适合使用在这种有一定时效性要求的应用场景。另外,Chukwa的设计思路希望集成数据收集和数据分析,这造成其设计思路不够单一和明确,因为数据收集和数据分析这两种任务各自优化目标大不相同甚至有些矛盾。与其如此,不如将其专一定位在数据收集领域,做好自己擅长的事情,因为数据分析有更多更专业的OLAP系统,比如Hive/Impala等可以做得更好。从这里可以看出,Chukwa因其定位不够清晰造成整个系统无特色、无明显优势,与其他类似系统相比其发展前景堪忧。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00012.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d