知识卡片
实时计算把汇总提前
核心思想二:实时计算——从数据产生的源头开始处理。分片属于离线、事后处理,把数据集中起来一次性处理;实时计算是细水长流、积少成多,以准实时方式得到结果。
管道模型:实时计算平台像一根管道,一端不断流入、另一端不断流出。数据源可以是业务系统、数据库、日志文件、消息队列;计算单元像过滤器,多个计算单元形成管道,数据流经被逐一处理;输出程序把结果发往数据库、消息队列、离线数仓或另一个实时平台。
例子:传统做法是 T+1 日计算 T 日汇总,管理者第二天才看到总订单数、总成交金额、总退款数。实时计算在每笔交易发生时计算:下单支付时把数据输入平台 → 平台在内存中累计订单数和金额并输出到数据库 → 报表系统实时查询。
两个保护手段: - 数据产生太快时平台可能处理不过来甚至宕机,借助 Kafka 的高吞吐和消息堆积能力接收数据; - 采用窗口机制(固定窗口、滑动窗口、Session 窗口),一次处理一个区间段的数据,或积累到一定量再处理。
代价(练习):实时性更好,复杂度也更高。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 关系型大数据架构设计 · 查看原书依据
分片数据处理属于离线数据处理、事后处理,是将需要处理的数据集中在一起一次性处理。而实时计算属于细水长流,积少成多,能够极大地提高数据的计算速度,以准实时的方式得到处理结果。
参考来源
- 位置:《架构基础:从需求到架构》第10章《第10章 关系型大数据架构设计》10.1 海量数据处理的核心思想(实时计算)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_10_1.xhtml,来源项目 book-sources)
- 结论依据:10.1节后半部分介绍从源头处理的实时计算思想及其管道与计算单元模型,以T+1日汇总改为每笔交易实时累计为例说明流程,并提出用Kafka缓冲和窗口机制防止平台被压垮;10.5节练习指出其复杂度更高。
- 原始内容:分片数据处理属于离线数据处理、事后处理,是将需要处理的数据集中在一起一次性处理。而实时计算属于细水长流,积少成多,能够极大地提高数据的计算速度,以准实时的方式得到处理结果。