← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.7.c

数据只有被使用才有价值

理解等级:中级

转换让数据从原始形式变成对下游有用的形式,通常是数据开始创造价值的阶段。早期转换映射类型(字符串转数字和日期)、标准化格式、删除错误记录;后期转换模式、规范化;更下游做大规模聚合或特征化。要问:转换的成本与 ROI、业务价值?是否尽量简单、自我隔离?支持哪些业务规则?转换常与其他阶段纠缠(源系统加事件时间戳、流管道中“丰富”记录)。业务逻辑是转换的主要驱动——原始零售交易若不加会计规则,CFO 看不清财务状况,要用标准方法实现业务逻辑;ML 特征化的方法由数据科学家确定后,可由数据工程师在管道中自动化。

服务:数据只有用于实际目的才有价值,未被使用或查询的数据是惰性的。数据虚荣项目是重大风险:大数据时代很多公司在数据湖里收集大量从未被使用的数据集,云时代又出现建立在最新数仓、对象存储和流技术上的新一波虚荣项目。数据项目必须贯穿整个生命周期,先回答“最终商业目的是什么”。

三类服务:

用途 要点
分析 BI 描述过去与现在,读时应用业务逻辑渐流行;自助分析理论简单、实践难(数据质量差、孤岛、技能不足);运营分析面向当前、可立即行动;嵌入式(面向客户)分析请求量大、访问控制复杂关键——每个客户只能看到自己的数据,客户间泄露是严重的信任违约,要用租户级或数据级安全缩小爆炸半径
机器学习 数据质量能否支撑特征工程?数据可发现吗?数据工程与 ML 工程边界在哪?数据集代表真实情况吗,有无偏见?特征存储由数据工程师参与支持。作者经验:公司常过早投入 ML,应先建立坚实数据基础,通常先培养分析能力
反向 ETL 把处理后的数据(分析结果、评分)反馈回生产系统或 SaaS 平台(如把数仓算出的出价上传到 Google Ads、把指标推到 CRM);过去被视为不愿提及的反模式,现在已有产品,名称是否存续未定,但转换后的数据总要以某种方式带着血缘回到源系统
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.1.5 转换;2.1.6 服务(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources) - 结论依据:2.1.5节说明转换的各个层次、关键问题、与其他阶段的纠缠、业务逻辑与特征化;2.1.6节强调数据只有被使用才有价值并警示数据虚荣项目,介绍BI、运营分析、嵌入式分析与多租户安全、ML服务的注意事项与过早投入ML的风险,以及反向ETL。 - 原始内容:当数据用于实际目的时,它才有价值。未使用或未查询的数据只是惰性的。