预处理、数据准备与数据清洗

数据分析真正花时间的地方往往不是算法而是分析之前的准备工作。预处理泛指把原始数据转换成”能被分析程序直接使用”的形态——剔除[[异常值与缺失值|异常值]]、填补缺失值、统一单位、把定性变量转成数值、统一字符编码，这整套工作被称为数据准备；其中专门针对因重复、破损、输入错误造成的不正确数据进行修正整合的部分，叫数据清洗。数据分析识别是数据清洗在企业场景里的典型例子：同一个顾客的信息可能因为各部门各自收集、格式不同、更新频率不同而分散在多处（尤其企业合并后更常见），需要靠姓名、电话号码等线索把碎片信息拼回同一个人。发散：这提醒一个常被低估的事实——分析工作里”脏活累活”占的时间比重往往远超”建模”本身，而这部分工作恰恰最难自动化、最考验对业务细节的熟悉程度。