此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
临时对象化解悖论
数据校验带来一个悖论:对象可能大到放不进接口服务的内存,只能边收边转发;但要等全部数据收完才能算出散列,才知道该不该写入。书中的解法是让数据服务支持临时对象:接口服务把数据流写入某个数据节点的临时对象,同时计算散列,传完后一致就转正,不一致就删除。删除可能因崩溃漏做,需要定期清理临时对象。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据校验和去重 · 查看原书依据
为了真正解决上述矛盾,我们需要在数据服务上提供对象的缓存功能,接口服务不需要将用户上传的对象缓存在自身节点的内存里,而是传输到某个数据服务节点的一个临时对象里,并在传输数据的同时计算其散列值。
参考来源
- 位置:《分布式对象存储——原理、架构及Go语言实现》第4章《数据校验和去重》(源文件:_epub-src/OEBPS/text00009.html)
- 结论依据:原文说明对象可能超出接口服务内存,只能以数据流方式转发,但必须等整个对象上传完才能算出散列值、决定是否写入,形成悖论;解决方法是数据服务提供缓存功能,接口服务把数据传到某数据节点的临时对象并同步计算散列,一致则转正、不一致则删除;删除可能失败,需定期清理临时对象。
- 原始内容:这就形成了一个悖论:在客户端的对象完全上传完毕之前,我们不知道要不要把这个对象写入数据服务……当整个数据传输完毕以后,散列值计算也同步完成,如果一致,接口节点需要将临时对象转成正式对象;如果不一致,则将临时对象删除。……因此我们需要定期检查并删除这些临时对象