← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2274.g.2.a.1.c.1

五类数据计算能力

理解等级:中级

数据开发包括离线开发、实时开发、算法开发三部分;为它们选择存储计算框架前,要先区分计算能力的类型。作者按场景分为五类:

类型 用途 特点 代表框架
批计算 离线数仓加工、大规模清洗与挖掘 吞吐量大、延时高,人机交互少 MapReduce、Hive、Spark
流计算 监控告警、流式 ETL、流式报表、在线系统策略调整 时效性要求高 Flink、Spark Streaming、Storm
流批一体 同时需要低延迟和高吞吐 同一套编程接口和执行逻辑,保证过程与结果一致 Flink
在线查询 结果检索、条件过滤筛选 高并发、低延迟,多为 OLTP 类增删改查与全文检索 低延时用 Redis、Tair;一般用 HBase、MySQL;检索用 Elasticsearch
即席分析 多维交叉分析、交互式分析、A/B 测试群体对比 以 group by、sum、count 等聚合为主 Kylin、Impala、ClickHouse、AnalyticDB

几点补充:

  • 作者估计企业约 80% 的数据处理需求是在线查询和即席分析;另一方面离线开发一节又指出 60%~80% 的场景需要离线批处理能力。两种说法口径不同(前者按需求类型,后者按加工场景),说明在线服务与离线加工都不可或缺。
  • 即席分析有两种实现:ROLAP 以关系型数据库为核心,用星型或雪花模式表示多维数据;MOLAP 以多维“立方块”为核心预先组织数据。
  • 企业在线查询需求旺盛,往往会同时运行多套在线计算系统。
  • 更复杂的参数与规则需求,再引入机器学习或深度学习。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第05章《第5章 数据开发:数据价值提炼工厂》5.1 数据计算能力的主要类型(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0026.xhtml,来源项目 book-sources) - 结论依据:第5章开篇介绍离线、实时、算法三类开发;5.1节把计算能力分为批计算、流计算、流批一体、在线查询、即席分析,说明各自场景、特点与框架,补充80%需求为在线查询和即席分析、ROLAP与MOLAP两种实现;5.2节提到60%~80%场景需离线批处理。 - 原始内容:一般而言,企业80%的数据处理需求是在线查询和即席分析。