知识卡片
异常噪声的识别与平滑
异常值(噪声)是偏离大多数取值的记录,处理分“找”与“平滑”两步。找噪声常用两种方法:一是算数据集均值,把与均值差距大的点视为噪声;二是聚类,把特征取值聚成“群”,落在群外的视为离群噪声点。找到后用分箱、聚类、回归或机器与人工结合的方式让分布变“光滑”,削弱噪声影响。用途:提升数据质量,避免个别极端值把模型带偏(如一笔录入错误的天价收入拉高均值)。边界:异常不等于错误——真实的极端高消费客户也是离群点,贸然删除会丢失重要信息;差距多大算噪声、群外多远算离群,都需业务判断。反例:把欺诈交易当噪声删掉,反而掩盖了要检测的目标。可迁移启发:异常点先判断是否业务信号,再决定平滑、保留还是单独建模。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据的准备工作 2.1.2 数据清洗 · 查看原书依据
通常我们会采用两种方法寻找噪声点:一种是计算该数据集的均值,选择与均值差距较大的数据点作为噪声点;另一种是采用聚类方法,将某个特征可能出现的取值集合成“群”,落在“群”集合之外的值被视为离群的噪声点。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文写道“通常我们会采用两种方法寻找噪声点:一种是计算该数据集的均值……另一种是采用聚类方法……”,并列出分箱、聚类、回归等平滑手段,支撑本卡的找噪与平滑两步。
- 原始内容:通常我们会采用两种方法寻找噪声点:一种是计算该数据集的均值,选择与均值差距较大的数据点作为噪声点;另一种是采用聚类方法,将某个特征可能出现的取值集合成“群”,落在“群”集合之外的值被视为离群的噪声点。