知识卡片

普通读书笔记卡 · 2280.h.1.a.14.f

嵌入式分析三大挑战

理解等级:中级

嵌入式分析是面向外部的趋势:公司通过数据应用程序向终端用户提供分析结果,多数在应用内嵌入分析仪表板,展示用户与应用相关的关键指标。例子: - 智能恒温器的手机应用展示实时温度和最新能耗,帮用户制定更节能的温控时间表; - 第三方电商平台给卖家提供实时销量、库存和退货仪表板,卖家可据此给客户近实时折扣。 两者都帮用户基于数据做实时决策(手动或自动)。

数据工程师的角色:一般不开发前端(由应用开发者负责),但要维护嵌入式分析使用的数据库,因此必须了解其速度和延迟要求。

三个性能挑战: 1. 低延迟:应用用户不会像内部分析师那样容忍批处理——招聘 SaaS 平台的用户上传简历那一刻就希望看到个人数据变化; 2. 查询效率:在仪表板上调整参数后,用户希望几秒内刷新结果; 3. 高并发:要支持多个仪表板、众多用户的极高查询率。

演进路径:谷歌等早期厂商开发了独特技术应对这些挑战;新入场者的默认配置往往是传统事务数据库,用户群扩大后初始架构就撑不住了,这时可转向新一代具备快速查询、高并发、近实时更新且易用(基于 SQL)的高性能分析数据库。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第09章《第9章 为分析、机器学习和反向ETL提供数据服务》9.2.3 嵌入式分析(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0015.xhtml,来源项目 book-sources) - 结论依据:9.2.3节介绍面向外部的嵌入式分析及其例子,说明数据工程师负责其数据库,并归纳低延迟、查询效率、高并发三大挑战及从事务数据库迁移到高性能分析数据库的路径。 - 原始内容:由于数据工程师要维护嵌入式分析使用的数据库,因此需要了解嵌入式分析的速度和时延要求。