返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 1783.c.2

批速分工支持最终准确

理解等级:高级

批处理可以看到完整数据,适合较容易验证的精确计算;速度层为低延迟更新可采用近似算法。后续批处理结果替代对应实时结果,能让暂时近似的查询走向最终准确。近似是可选的取舍,速度层也可以使用精确的增量算法;三层结构本身不保证任意算法都准确。

与[[Lambda三层]]的联系:三层分工允许对临时精度与最终结果分别安排算法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      一些算法很难增量地计算。批处理/速度层的分离,为你在批处理层上使用精确算法和速度层上使用近似算法提供了足够的灵活性。批处理层多次重写速度层,所以近似值得到修正,并且系统也显示了最终准确性的属性。

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第1章《大数据的新范式》(来源项目 book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/014.xhtml) - 结论依据:原文以独立计数与HyperLogLog为例解释可选近似,并明确增量计算准确时系统也可完全准确。 - 原始内容:一些算法很难增量地计算。批处理/速度层的分离,为你在批处理层上使用精确算法和速度层上使用近似算法提供了足够的灵活性。批处理层多次重写速度层,所以近似值得到修正,并且系统也显示了 最终准确性 的属性。