此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
重算换简单
重新计算算法每次从权威主数据集生成视图,看似浪费,却能大幅降低状态维护复杂度。只要批处理成本可接受,它比增量算法更容易验证、调试和从错误中恢复。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
因为基于重新计算的算法会从头计算批处理视图。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》"6.3.2 容忍人为错误"一节(源文件:_epub-src/OEBPS/Text/047.xhtml)
- 结论依据:原文以全局计数人为错误为例,说明"如果该算法是基于重新计算的,那么只需要修复算法并重新部署代码——这样在下次批处理层运行时,批处理视图将被修正",而增量算法"唯一的选择是鉴别出计数过多的记录……并不能保证每次都能完整、准确地完成这项任务",直接支撑重算算法更容易验证、调试和从错误中恢复。
- 原始内容:如果该算法是基于重新计算的,那么只需要修复算法并重新部署代码——这样在下次批处理层运行时,批处理视图将被修正。这是因为基于重新计算的算法会从头计算批处理视图。但是如果该算法是增量的,那么修正视图就不会那么简单了……比起增量算法,基于重新计算的算法更能容忍人为错误。