知识卡片
小文件与入库时延要权衡
把流数据滚动写入 HDFS 时,滚动太频繁能缩短文件可见时延,却会产生大量小文件,增加文件系统管理负担并拖慢后续分析。应按事件量、目标文件大小与可接受时延共同设定滚动条件;低流量且仍需短时延时,可另安排合并任务。发散:落地速度与下游读取成本应作为同一条链路衡量。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第9章9.4.1《存储》(源文件:_epub-src/OEBPS/Text/chapter157.xhtml)
- 结论依据:原文比较按时间、大小、事件数滚动的条件,说明低事件量会产生小文件,并要求在文件大小与入库时延之间取舍。
- 原始内容:这虽然在功能上没什么问题,但是由于HDFS本身是针对大数据设计的文件系统,太多的小文件一方面会浪费大量的块节点,另一方面会降低MapReduce、Hive和Spark等程序的性能。