知识卡片
五类数据计算能力
数据开发包括离线开发、实时开发、算法开发三部分;为它们选择存储计算框架前,要先区分计算能力的类型。作者按场景分为五类:
| 类型 | 用途 | 特点 | 代表框架 |
|---|---|---|---|
| 批计算 | 离线数仓加工、大规模清洗与挖掘 | 吞吐量大、延时高,人机交互少 | MapReduce、Hive、Spark |
| 流计算 | 监控告警、流式 ETL、流式报表、在线系统策略调整 | 时效性要求高 | Flink、Spark Streaming、Storm |
| 流批一体 | 同时需要低延迟和高吞吐 | 同一套编程接口和执行逻辑,保证过程与结果一致 | Flink |
| 在线查询 | 结果检索、条件过滤筛选 | 高并发、低延迟,多为 OLTP 类增删改查与全文检索 | 低延时用 Redis、Tair;一般用 HBase、MySQL;检索用 Elasticsearch |
| 即席分析 | 多维交叉分析、交互式分析、A/B 测试群体对比 | 以 group by、sum、count 等聚合为主 | Kylin、Impala、ClickHouse、AnalyticDB |
几点补充:
- 作者估计企业约 80% 的数据处理需求是在线查询和即席分析;另一方面离线开发一节又指出 60%~80% 的场景需要离线批处理能力。两种说法口径不同(前者按需求类型,后者按加工场景),说明在线服务与离线加工都不可或缺。
- 即席分析有两种实现:ROLAP 以关系型数据库为核心,用星型或雪花模式表示多维数据;MOLAP 以多维“立方块”为核心预先组织数据。
- 企业在线查询需求旺盛,往往会同时运行多套在线计算系统。
- 更复杂的参数与规则需求,再引入机器学习或深度学习。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 数据开发:数据价值提炼工厂 · 查看原书依据
一般而言,企业80%的数据处理需求是在线查询和即席分析。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第05章《第5章 数据开发:数据价值提炼工厂》5.1 数据计算能力的主要类型(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0026.xhtml,来源项目 book-sources)
- 结论依据:第5章开篇介绍离线、实时、算法三类开发;5.1节把计算能力分为批计算、流计算、流批一体、在线查询、即席分析,说明各自场景、特点与框架,补充80%需求为在线查询和即席分析、ROLAP与MOLAP两种实现;5.2节提到60%~80%场景需离线批处理。
- 原始内容:一般而言,企业80%的数据处理需求是在线查询和即席分析。