知识卡片

普通读书笔记卡 · 2819.f.1.d

两层汇聚减少存储写入压力

理解等级:中级

大量应用直接写 HDFS 会增加并发访问和小文件数量。Flume 可让第一层 Agent 接收各应用日志、经 File Channel 缓冲并转发,再由少量第二层 Agent 集中写 HDFS。多一跳换来对存储端写入规模的控制;设计时还需为两层之间的转发配置负载均衡和故障回退。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.3.2(源文件:_epub-src/OEBPS/text00023.html) - 结论依据:原文以降低 HDFS 访问并发和小文件数为理由设置两层 Agent,并在第一层配置 File Channel、多个 Avro Sink 及负载均衡。 - 原始内容:为了减少HDFS访问并发数和生成的小文件数目,我们设计了两层Agent:第一层Agent采用Avro Source从应用程序端接收Event,并写入File Channel,之后由一组Avro Sink将数据发送给第二层Agent;第二层Agent接收到前一层Event数据后,通过HDFS Sink写入后端的HDFS。