返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 1958.ac.2.f.6.a.2.b

汇总与实时数据划清边界

理解等级:中级

大范围统计可以把已经稳定的历史先汇总,再把当天仍变化的明细即时统计,最后组合结果。例如本月销售额可由截至昨日的累计值加上今日增量得到。关键是两个部分使用同一时间口径,既不重叠也不遗漏;若历史仍会退款或更正,还要定义汇总的修正方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      可以每天晚上同步数据,然后在查询机中统计昨天以前的销量,存储到汇总表中。这样,第二天在实时查询销量时,通过查询机可以快速获得昨天以前的销量,然后在生产机上统计出当日的销量,加在一起,就可以实时展现当月销量了。这样的设计,既避免了实时同步,降低了设计难度,又解决了实时查询的问题。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第7章《分布式架构设计》,7.1.3 流量在1000万以上的架构设计(源文件:../../../book-sources/extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter82.xhtml;来源项目:book-sources) - 结论依据:原文用昨日汇总加当天实时结果解释月销售统计;修正边界是由该分段计算前提引出的限制。 - 原始内容:可以每天晚上同步数据,然后在查询机中统计昨天以前的销量,存储到汇总表中。这样,第二天在实时查询销量时,通过查询机可以快速获得昨天以前的销量,然后在生产机上统计出当日的销量,加在一起,就可以实时展现当月销量了。这样的设计,既避免了实时同步,降低了设计难度,又解决了实时查询的问题。