知识卡片
两层汇聚减少存储写入压力
大量应用直接写 HDFS 会增加并发访问和小文件数量。Flume 可让第一层 Agent 接收各应用日志、经 File Channel 缓冲并转发,再由少量第二层 Agent 集中写 HDFS。多一跳换来对存储端写入规模的控制;设计时还需为两层之间的转发配置负载均衡和故障回退。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.3.2(源文件:_epub-src/OEBPS/text00023.html)
- 结论依据:原文以降低 HDFS 访问并发和小文件数为理由设置两层 Agent,并在第一层配置 File Channel、多个 Avro Sink 及负载均衡。
- 原始内容:为了减少HDFS访问并发数和生成的小文件数目,我们设计了两层Agent:第一层Agent采用Avro Source从应用程序端接收Event,并写入File Channel,之后由一组Avro Sink将数据发送给第二层Agent;第二层Agent接收到前一层Event数据后,通过HDFS Sink写入后端的HDFS。