异常值与缺失值

数据分析前必须先体检两类”不恰当数据”：异常值是明显偏离其他数据分布位置的数据点，可能源于手工输入错误或传感器测量故障，若不删除或修正会污染分析结果——这类问题往往画出图形（如[[雷达图与箱形图|箱形图]]、直方图）后一眼就能发现；缺失值则是本该有但实际缺席的数据，可能表现为记录数量对不上（如日本47个都道府县只收到46条数据）、或被明确标记为”NULL”“N/A”，成因包括观测遗漏、设备故障、问卷未答。缺失值即便只有少量也会污染分析结论，常见处理方式是直接剔除该条记录，或用平均值等方法插补填充。发散：这提醒一个原则——”先看数据脏不脏”应该排在”用什么算法分析”之前，脏数据上的精妙分析毫无意义。