← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.q.8

不可变输出与人类容错

理解等级:未标注

批处理的输出常用于构建搜索索引、生成供机器学习系统查询的键值存储,或供下游作业使用。最佳实践是不在 Mapper 或 Reducer 中直接逐条写生产数据库:高并发写会压垮数据库,部分成功还会破坏作业全有或全无的保证。应在作业内部把结果写成不可变文件,由存储批量加载并切换,出问题可以回滚。输入不可变、输出整体替换带来人类容错:代码有 bug 就回滚代码重跑;在线数据库回滚代码却无法修复已写坏的数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十章《批处理》"建立搜索索引""键值存储作为批处理输出""批处理输出的哲学"(源文件:_epub-src/ch10_split_003.html) - 结论依据:原文说明批处理输出常见的三类去向、直接写外部数据库的问题、改为写不可变文件批量加载的做法,并明确提出"人类容错"概念说明输出可回滚是其区别于在线数据库的关键优势,直接支撑本卡片结论。 - 原始内容:更好的解决方案是在批处理作业内创建一个全新的数据库,并将其作为文件写入分布式文件系统……能够从错误代码中恢复的概念被称为人类容错……这种最小化不可逆性(minimizing irreversibility) 的原则有利于敏捷软件开发【51】。