原书出处
大数据日知录_架构与算法
7 数据通道
Chukwa是用于针对大规模分布式系统Log收集与分析用途的Apache开源项目,其建立在Hadoop之上。首先,我们需要了解:使用MR任务直接来收集Log数据是不合适的,因为单机Log数据具有量小且渐增的特性,而MR更适合处理大文件数据块。因此Chukwa的基本策略是首先收集大量单机的Log增量文件,将其汇总后形成大文件,之后再利用MR任务来对其进行加工处理。Chukwa和其他类似系统不同的地方在于不仅仅定位于数据收集,也在后端集成数据分析和可视化界面。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00012.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d