知识卡片

普通读书笔记卡 · 2667.b

语义变化更危险

理解等级:未标注

数据格式变了,导入任务往往直接失败,容易发现;语义变了,程序照跑,结果却悄悄出错。语义就是数据对应的业务逻辑,最常见的是指标定义,例如“当日销售额”有的系统付款即计入,有的要等服务完成。应对方式有两种:主动管理,上游变更时用血缘工具找出所有下游并通知其负责人;被动管理,给关键数据加质量规则,由质量系统发现变化并告警,见[[血缘连数据和应用]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云原生数据中台:架构、方法论与实践》第15章《管理数据中台的演进》(源文件:_epub-src/OEBPS/Text/chapter196.xhtml) - 结论依据:原文说明数据语义指数据对应的业务逻辑,最常见的是指标定义,如“当日销售额”在不同系统计入条件不同;格式变化会使导入任务失败,而语义变化需主动式管理(用血缘工具找出下游并通知所有者)或被动式管理(加质量规则由质量系统发现并通知)。 - 原始内容:数据语义指的是数据所对应的业务逻辑,在数据中台中最常见的表现形式是指标的定义。……第一种是主动式管理,在上游数据语义发生变化的时候使用数据血缘工具找出所有下游相关应用和数据,并通知其所有者。第二种是被动式管理,对需要监控的数据加上相应的数据质量规则,由数据质量系统发现语义的变化并通知使用人员。