知识卡片

普通读书笔记卡 · 1749.a.1

获取监控与数据质量

理解等级:中级

获取阶段的监控最关键:管道失败时下游全部停摆。弱监控或无监控意味着不知道管道是否在工作。作者见过无数从未更新的数据生成的报表和模型,极端情况下一个获取管道的故障六个月都没被发现。

监控什么:从正常运行时间、延迟和处理的数据量开始;跟踪事件创建、获取、处理等各种时间;了解上游每个时间间隔产生的事件数和平均事件大小。监控应从一开始就纳入管道,而不是部署后再补。依赖第三方服务时,要知道故障时如何得到提醒、断线时的应对计划(可行时在另一区域做故障转移);自建获取要有测试、自动化部署和回滚能力。

数据是无声的杀手:用糟糕的数据做决策比没有数据更糟。DevOps 中软件回归只在部署变更时出现,而数据会因我们无法控制的事件而回归。DevOps 可以用阈值等二元条件检测问题,数据领域的回归常表现为微妙的统计异常(搜索词变化是客户行为、机器人流量,还是别的部门的网站测试工具?)。最危险的是悄无声息的故障:开发者改变字段含义却没告诉数据团队、第三方数据变化被忽视,决策者往往不知道指标已经出错。

对策:尽量与软件工程师一起从源头解决数据质量问题——记录数据变化历史、空值检查、异常处理等基本软件工程实践就能解决很多问题;传统数据测试多是二元逻辑,统计数据测试是新兴方向。

编排与软件工程:早期可用 cron,但它脆弱、拖慢开发;管道复杂后需要能编排完整任务图的编排工具。优先用 Fivetran、Matillion、Airbyte 等托管工具承担繁重工作;获取代码要版本控制、代码审查和测试,并保持解耦,避免对源或目标系统有严格依赖的单体系统。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.7.3 DataOps(数据质量测试);7.7.4 编排;7.7.5 软件工程;7.8 总结(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.7.3节强调获取阶段监控的重要性与监控内容、第三方依赖的应对,并说明数据回归不同于软件回归、静默数据故障的危害和从源头解决质量问题;7.7.4–7.7.5节说明编排与托管工具、解耦;7.8节总结。 - 原始内容:一般来说,应该从一开始就将监控纳入你的管道,而不是等到部署后。