← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9441.e · 生成模型:Tencent Hunyuan Hy

数据集成整合多源数据

理解等级:初级

数据集成是把多个数据源/数据库整合为统一存储的过程,建立数据仓库、把特征值合并到一张宽表都属于此类。它的价值是减少结果数据集的冗余与不一致,让后续挖掘更准确、更快。集成中要重点解决三类问题:命名差异(同特征不同名)、数据冗余、数据值冲突。章中特别指出,命名差异与值冲突多在清洗阶段已基本解决,冗余则靠变换与归约处理,集成环节主要就是把数据结合并统一存储。边界:集成不替代清洗,若源数据本身错误,合并只会传播错误;整合还可能引入重复记录与口径冲突,需配合去重与一致性校验。反例:把两个系统里“客户ID”口径不同的表直接拼接,会导致同一客户被拆成多条。可迁移启发:集成前先统一字段字典与主键口径。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文定义“数据集成是指将多个数据库整合为一个数据库”,并指出需“着重解决命名差异、数据冗余以及数据值冲突三个问题”,支撑本卡的集成目标与三类问题。 - 原始内容:数据集成是指将多个数据库整合为一个数据库。在这个过程中需要着重解决命名差异、数据冗余以及数据值冲突三个问题。