← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9746.h · 生成模型:DeepSeek-V4.1-Flash

数据治理是保留与丢弃的取舍

理解等级:中级

数据治理(data conditioning)指清洗、标准化与转换数据,也包括合并关联数据集等让数据日后可被分析的复杂操作。它通常被当作预处理步骤,由 IT、数据所有者、DBA 或数据工程师执行,但数据科学家必须参与。

原因是治理阶段的取舍直接决定后续分析的边界:保留哪些字段、转换哪些值、丢弃哪些记录,都会限制模型能看到的信息。若由一个人拍板,团队很可能在后期不得不回头索取已被删掉的数据,重走一遍流程。

常见检查项: - 源与目标字段是否清楚; - 数据有多干净,缺失与不一致到什么程度; - 类型是否一致,该是数值的有没有混入文本; - 取值是否合理,例如收入是否出现负值; - 是否存在系统性错误,如传感器损坏、口径中途变更却无注释。

原则是宁可多留:数据科学团队通常宁愿保存更多而不是更少的数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 数据分析生命周期 · 查看原书依据

      数据治理(data conditioning)是指清洗数据、标准化数据集和执行数据转换的过程。作为数据分析生命周期中的一个关键步骤,数据治理可以涉及许多关联数据集,合并数据集,或者其他使数据集日后能被分析的复杂操作。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第2章 数据分析生命周期(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0012_split_003.html) - 结论依据:依据 2.3.4 节对数据治理的定义、执行主体、保留决策风险与检查清单的论述。 - 原始内容:数据治理(data conditioning)是指清洗数据、标准化数据集和执行数据转换的过程。作为数据分析生命周期中的一个关键步骤,数据治理可以涉及许多关联数据集,合并数据集,或者其他使数据集日后能被分析的复杂操作。