知识卡片
原子追加仍可能重复
GFS记录追加由主副本决定落点,空间不足时填充当前Chunk并要求换下一块重试,避免一条成功记录被跨块拆开。保证面向至少一次原子记录追加,失败重试可能产生重复记录或填充区域;应用若需要逻辑唯一,仍应带记录ID并去重,不能把原子性当作恰好一次。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 分布式文件系统 · 查看原书依据
GFS还提供了原子文件追加操作,可以支持多客户端并发在某个文件尾部追加记录内容,GFS保证每个客户端都能至少成功追加一次。原子追加操作的运行逻辑与图8-4所述基本相同,唯一的区别在于“主备份”:“主备份”在接收到客户端的写入通知时,需要判断当前Chunk剩余空间是否足够容纳得下要写入的记录,如果不够,那么将当前Chunk进行自动填充满(Padding)并通知所有“次级备份”也如此操作,然后通知客户端让其尝试写入文件的下一个Chunk中。如果空间足够,那么“主备份”将记录写入Chunk并通知所有“次级备份”也在Chunk的同一偏移处写入记录,之后通知客户端写入成功。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落47(OEBPS/text00013.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:GFS还提供了原子文件追加操作,可以支持多客户端并发在某个文件尾部追加记录内容,GFS保证每个客户端都能至少成功追加一次。原子追加操作的运行逻辑与图8-4所述基本相同,唯一的区别在于“主备份”:“主备份”在接收到客户端的写入通知时,需要判断当前Chunk剩余空间是否足够容纳得下要写入的记录,如果不够,那么将当前Chunk进行自动填充满(Padding)并通知所有“次级备份”也如此操作,然后通知客户端让其尝试写入文件的下一个Chunk中。如果空间足够,那么“主备份”将记录写入Chunk并通知所有“次级备份”也在Chunk的同一偏移处写入记录,之后通知客户端写入成功。