知识卡片
去重系统的切片粒度三角权衡
内容
重复数据删除系统的核心矛盾在于切片粒度:切片越小,越能识别出细粒度的重复内容,去重率越高,但需要管理的切片数量和指纹索引急剧膨胀,查询和存储开销随之上升,导致吞吐率下降;切片越大则相反。经验上8KB左右的切片是去重率和吞吐率之间较优的平衡点,工程上还会用摘要向量(Bloom Filter)过滤明显不存在的指纹、用局部性缓存把同一数据流的相关指纹一起预读进内存,减少不必要的磁盘I/O。发散:这类”越细粒度效果越好但开销越大”的三角权衡,在索引设计、分片策略里反复出现,本质都是在”识别精度”和”管理成本”之间找一个经验最优点,而不是纯理论推导出来的。
参考来源
《Linux开源存储全栈详解从Ceph到容器存储》第1章《Linux开源存储》