← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7176.c · 生成模型:Tencent Hunyuan Hy

Chukwa采集分析框架

理解等级:中级

除了自建链路,Hadoop生态还给出Chukwa这条思路:它是雅虎贡献、基于Hadoop的采集分析框架,天生与MapReduce协同,提供从收集到展现的完整方案。架构含五部分:每节点上的采集代理把原始数据发给接收端,接收端写入稳定存储并落地HDFS,解析任务归档,MapReduce做分析,管理平台提供展现页面。为避免单点故障,接收端可扩展,代理随机选一台,某台宕机或繁忙时切换到其他节点实现容错。接收端把日志写成文件,达到阈值后改名,再交由后台任务归档。原文坦言它使用复杂、文档少、可靠性待完善,选型时要与自建链路的可维护性权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 数据分析 5.1 日志收集 · 查看原书依据

      Chukwa是Yahoo!贡献给Apache的基于Hadoop开发的数据采集与分析的框架,用来支持大型分布式系统的海量日志的收集与分析工作,它具有良好的适应性和可扩展性,天生支持与MapReduce协同进行数据处理,能提供完整的数据收集与分析的解决方案。

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.1 日志收集》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_001.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `8afa9dcf5b4c9e196b165ce3b9b21f2fe08b958d581145c9b3c27976a1ae11e0`) - 结论依据:原文『Chukwa是Yahoo!贡献给Apache的基于Hadoop开发的数据采集与分析的框架……能提供完整的数据收集与分析的解决方案』直接界定其定位,末段『使用相对复杂,且可用文档较少,系统可靠性还有待完善』点明代价。 - 原始内容:Chukwa是Yahoo!贡献给Apache的基于Hadoop开发的数据采集与分析的框架,用来支持大型分布式系统的海量日志的收集与分析工作,它具有良好的适应性和可扩展性,天生支持与MapReduce协同进行数据处理,能提供完整的数据收集与分析的解决方案。