← 返回刚才阅读的位置

知识卡片

结构图卡 · 9441.a · 生成模型:Tencent Hunyuan Hy

数据预处理的四步骤

理解等级:初级

数据预处理是把原始数据加工成可建模数据的标准流程,章中明确划分为清洗、集成、变换、归约四步。清洗统一格式、纠错、去异常与重复,解决“数据对不对”;集成把分散在多个源的数据合到一起,解决“数据全不全”;变换通过标准化、缩放等让特征可比、更易被机器理解,解决“数据好不好学”;归约在尽量保持原貌的前提下压缩数据量,解决“数据快不快”。四步各有侧重,通常按此顺序推进,但并非每次都要全做:数据源单一时可跳过集成,数据量小时无需归约。边界是它们都服务于后续建模,本身不直接产出业务结论。可迁移启发:把“清洗—集成—变换—归约”当作数据质量检查清单,按数据源特点裁剪。

结构图:

flowchart LR
  A[原始数据] --> B[数据清洗]
  B --> C[数据集成]
  C --> D[数据变换]
  D --> E[数据归约]
  E --> F[可建模数据]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据的准备工作 2.1.1 为什么要做数据预处理 · 查看原书依据

      为了解决以上问题,提高数据质量,工程师们在训练模型前首先需要想办法提升数据的质量。因此他们创建了许多数据预处理技术,通过这些技术能够增强数据的表现力,让算法发挥最佳的效果。数据预处理主要分为数据清洗、数据集成、数据变换及数据归约四个步骤。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文明确写道“数据预处理主要分为数据清洗、数据集成、数据变换及数据归约四个步骤”,并逐一说明各步目的,构成四步流程的直接依据。 - 原始内容:为了解决以上问题,提高数据质量,工程师们在训练模型前首先需要想办法提升数据的质量。因此他们创建了许多数据预处理技术,通过这些技术能够增强数据的表现力,让算法发挥最佳的效果。数据预处理主要分为数据清洗、数据集成、数据变换及数据归约四个步骤。