← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9441.d · 生成模型:Tencent Hunyuan Hy

异常噪声的识别与平滑

理解等级:中级

异常值(噪声)是偏离大多数取值的记录,处理分“找”与“平滑”两步。找噪声常用两种方法:一是算数据集均值,把与均值差距大的点视为噪声;二是聚类,把特征取值聚成“群”,落在群外的视为离群噪声点。找到后用分箱、聚类、回归或机器与人工结合的方式让分布变“光滑”,削弱噪声影响。用途:提升数据质量,避免个别极端值把模型带偏(如一笔录入错误的天价收入拉高均值)。边界:异常不等于错误——真实的极端高消费客户也是离群点,贸然删除会丢失重要信息;差距多大算噪声、群外多远算离群,都需业务判断。反例:把欺诈交易当噪声删掉,反而掩盖了要检测的目标。可迁移启发:异常点先判断是否业务信号,再决定平滑、保留还是单独建模。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据的准备工作 2.1.2 数据清洗 · 查看原书依据

      通常我们会采用两种方法寻找噪声点:一种是计算该数据集的均值,选择与均值差距较大的数据点作为噪声点;另一种是采用聚类方法,将某个特征可能出现的取值集合成“群”,落在“群”集合之外的值被视为离群的噪声点。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文写道“通常我们会采用两种方法寻找噪声点:一种是计算该数据集的均值……另一种是采用聚类方法……”,并列出分箱、聚类、回归等平滑手段,支撑本卡的找噪与平滑两步。 - 原始内容:通常我们会采用两种方法寻找噪声点:一种是计算该数据集的均值,选择与均值差距较大的数据点作为噪声点;另一种是采用聚类方法,将某个特征可能出现的取值集合成“群”,落在“群”集合之外的值被视为离群的噪声点。