知识卡片
不可变输出与人类容错
批处理的输出常用于构建搜索索引、生成供机器学习系统查询的键值存储,或供下游作业使用。最佳实践是不在 Mapper 或 Reducer 中直接逐条写生产数据库:高并发写会压垮数据库,部分成功还会破坏作业全有或全无的保证。应在作业内部把结果写成不可变文件,由存储批量加载并切换,出问题可以回滚。输入不可变、输出整体替换带来人类容错:代码有 bug 就回滚代码重跑;在线数据库回滚代码却无法修复已写坏的数据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
这种最小化不可逆性(minimizing irreversibility) 的原则有利于敏捷软件开发【51】。
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"建立搜索索引""键值存储作为批处理输出""批处理输出的哲学"(源文件:_epub-src/ch10_split_003.html)
- 结论依据:原文说明批处理输出常见的三类去向、直接写外部数据库的问题、改为写不可变文件批量加载的做法,并明确提出"人类容错"概念说明输出可回滚是其区别于在线数据库的关键优势,直接支撑本卡片结论。
- 原始内容:更好的解决方案是在批处理作业内创建一个全新的数据库,并将其作为文件写入分布式文件系统……能够从错误代码中恢复的概念被称为人类容错……这种最小化不可逆性(minimizing irreversibility) 的原则有利于敏捷软件开发【51】。