知识卡片

普通读书笔记卡 · 6376.a

截断极值不同于删除记录

理解等级:中级

把超范围值改为sign(value)*3,保留原行但把数值压到边界;删除包含异常值的行则改变样本集合。两种处理都会影响统计结果,不能以清理后极值符合范围就认定数据更真实。单元格掩码与按行any筛选也有不同粒度,应保留所用规则和改动范围。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      限制在区间-3到3以内: In [176]: data[np.abs(data) > 3] = np.sign(data) * 3 In [177]: data.describe() Out[177]: 0 1 2 3 count 1000.000000 1000.000000 1000.000000 1000.000000 mean -0.067623 0

    参考来源

    - 位置:《利用Python进行数据分析》第7章《检测和过滤异常值》(spine294;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0280.html;u160-ch07-026)。 - 结论依据:原文在“限制在区间-3到3以内”附近的定义、例子或代码支撑本卡核心说明:把超范围值改为sign(value)*3,保留原行但把数值压到边界;删除包含异常值的行则改变样本集合。边界按已读前提解释;示例未执行。 - 原始内容:限制在区间-3到3以内: In [176]: data[np.abs(data) > 3] = np.sign(data) * 3 In [177]: data.describe() Out[177]: 0 1 2 3 count 1000.000000 1000.000000 1000.000000 1000.000000 mean -0.067623 0