知识卡片
数据清洗的一般步骤
数据清洗是预处理的第一步,本质是对数据重新审查与校验,不让错误、不规整的记录进入模型。章中给出一条实用顺序:格式标准化→错误纠正→异常数据处理→清除重复数据。格式标准化统一同义表达(如1月30日、1/30、1-30统一为标准时间戳)并排查多余空格、姓名中的数字等非法字符;错误纠正借助业务规则为数值/枚举字段设范围,识别负数消费这类异常并判断其是退款还是还款;异常数据处理针对缺失值与离群点;去重则合并特征值完全相同的记录。边界在于:产品经理只需掌握思路与排查顺序,不必逐一实现所有方法;且某些“错误”可能是前端未校验或导入列错位所致,不能一概删除。可迁移启发:面对脏数据先分类归因,再选处理手段。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据的准备工作 2.1.2 数据清洗 · 查看原书依据
通常情况下,我们可以按照格式标准化、错误纠正、异常数据处理以及清除重复数据这样的顺序检查数据问题并且选择合适的方法处理其中待改善的数据
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文指出数据清洗是“整个数据预处理的第一步”,并给出“按照格式标准化、错误纠正、异常数据处理以及清除重复数据这样的顺序”检查数据,支撑本卡的顺序框架。
- 原始内容:通常情况下,我们可以按照格式标准化、错误纠正、异常数据处理以及清除重复数据这样的顺序检查数据问题并且选择合适的方法处理其中待改善的数据