知识卡片
小对象宜打包上传
去重前要先定位,定位有约 1 秒的超时等待:对 10MB 对象只多 25% 的时间,对 10KB 对象却是 250 倍。但不能因此跳过小对象去重,否则小对象会在每个数据节点都存一份,定位时所有节点都响应,塞满消息队列。这个问题服务端解决不了,有效做法是客户端把多个小对象打包成一个大对象上传,下载时再从中取出。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据校验和去重 · 查看原书依据
一个有效的解决方案是优化客户端的行为。如果客户端能将多个小对象尽量打包成一个大对象上传而不是分别上传,那么1s的等待时间就可以忽略。
参考来源
- 位置:《分布式对象存储——原理、架构及Go语言实现》第4章《数据校验和去重》(源文件:_epub-src/OEBPS/text00009.html)
- 结论依据:原文说明去重前的定位有约1s超时,对10MB对象只是25%额外时间,对10KB对象则是25000%;但不能免除小对象去重,否则小对象会在每个数据节点都有备份,且定位时所有节点都会响应、塞满消息队列;服务端无法解决,有效方案是客户端把多个小对象打包成一个大对象上传。
- 原始内容:有一个看上去可行的解决方案是免除小对象的去重……很遗憾,这个性能问题单靠对象存储服务端是无法解决的。一个有效的解决方案是优化客户端的行为。如果客户端能将多个小对象尽量打包成一个大对象上传而不是分别上传,那么1s的等待时间就可以忽略。