返回主题:引擎运行时与状态管理

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 3111

小文件与入库时延要权衡

理解等级:高级

把流数据滚动写入 HDFS 时,滚动太频繁能缩短文件可见时延,却会产生大量小文件,增加文件系统管理负担并拖慢后续分析。应按事件量、目标文件大小与可接受时延共同设定滚动条件;低流量且仍需短时延时,可另安排合并任务。发散:落地速度与下游读取成本应作为同一条链路衡量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第9章9.4.1《存储》(源文件:_epub-src/OEBPS/Text/chapter157.xhtml) - 结论依据:原文比较按时间、大小、事件数滚动的条件,说明低事件量会产生小文件,并要求在文件大小与入库时延之间取舍。 - 原始内容:这虽然在功能上没什么问题,但是由于HDFS本身是针对大数据设计的文件系统,太多的小文件一方面会浪费大量的块节点,另一方面会降低MapReduce、Hive和Spark等程序的性能。