知识卡片
业务分析:仪表板到专项
先识别终端用例:找历史业务趋势(业务分析/BI)?实时自动异常通知如诈骗预警(运营分析)?手机应用里的实时仪表板(嵌入式分析)?三者目标和数据服务需求各不相同。
业务分析用历史和新数据做策略性、可执行的决策,结合统计、趋势分析和领域专家判断,既是科学也是艺术。三种形式: - 仪表板:像汽车仪表盘,简明展示销售、留存等核心指标;最高层看顶层仪表板,下级看带特定 KPI/OKR 的仪表板。分析师创建维护,业务依赖后还要负责排查指标问题、新增指标(Tableau、Looker、Power BI、Superset 等); - 报告:如网上商城分析师调查女士运动短裤退货率飙升,SQL 汇总退货原因后发现面料质量差、穿几次就破,通报制造和质检部门,并在 BI 工具中发布报告; - 专项分析:深入探究潜在问题,有影响力的专项分析会演变为报告或仪表板。
数据工程师的配合:好的分析师会对数据质量、可靠性和新数据集需求提出意见,由数据工程师落地。续上例:得知制造商能提供面料供应链细节后,数据工程师把这些数据收进数仓,分析师把服装批号和面料供应商关联,发现多数次品来自三家供应商中的某一家,于是停止采购。
供应方式:业务分析数据常以批处理从数仓或数据湖供应,频率从每秒到每周不等。关键一点:从上游获取数据的频率是下游数据更新频率的上限;若数据由流式应用产生,就应流式获取,即使下游按批处理和服务。后端上,BI 工具有的用内部存储层,有的直接在数仓/数据湖上查询——后者更能发挥 OLAP 能力,但有成本、权限控制和时延问题。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
但是需要注意,从上游获取数据的频率是下游所使用数据更新频率的上限。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第09章《第9章 为分析、机器学习和反向ETL提供数据服务》9.2 分析;9.2.1 业务分析(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0015.xhtml,来源项目 book-sources)
- 结论依据:9.2节说明按用例区分业务、运营、嵌入式分析;9.2.1节介绍仪表板、报告、专项分析三种业务分析形式,以运动短裤退货案例说明分析师与数据工程师的配合,并指出上游获取频率是下游更新频率的上限。
- 原始内容:但是需要注意,从上游获取数据的频率是下游所使用数据更新频率的上限。