← 返回卡片

原书出处

大数据日知录_架构与算法

7 数据通道

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.101Z

Chukwa是用于针对大规模分布式系统Log收集与分析用途的Apache开源项目,其建立在Hadoop之上。首先,我们需要了解:使用MR任务直接来收集Log数据是不合适的,因为单机Log数据具有量小且渐增的特性,而MR更适合处理大文件数据块。因此Chukwa的基本策略是首先收集大量单机的Log增量文件,将其汇总后形成大文件,之后再利用MR任务来对其进行加工处理。Chukwa和其他类似系统不同的地方在于不仅仅定位于数据收集,也在后端集成数据分析和可视化界面。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00012.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d