知识卡片
数据预处理三件事
原始数据很少直接满足算法要求,预处理是机器学习应用中必不可少的步骤。第 1 章先点出三类核心处理: 1. 特征缩放:把属性值映射到 [0,1] 或变成均值 0、方差 1 的标准正态分布,让不同特征有统一度量标准,许多算法这样才能达到最优性能。 2. 降维去冗余:属性间高度相关会带来数据冗余,把数据压到低维子空间,既省存储又让算法跑得更快。 3. 划分训练/测试集:随机把数据分成训练集与测试集,用训练集训练优化模型,用测试集评估最终模型,目的是保证模型不仅在训练集有效、还能应用到新数据。
这三类处理会在第 4、5 章展开为具体方法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1.3.1 数据预处理 · 查看原书依据
许多机器学习算法为达到性能最优的目的,将属性值映射到[0,1]区间,或者使其满足方差为1、为值为0的标准正态分布,从而使得提取出的特征具有相同的度量标准
参考来源
- 位置:《Python机器学习》第1章《1.3.1 数据预处理》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0015.xhtml.xhtml)
- 结论依据:原文依次讲特征缩放统一度量、降维去冗余省存储提速、随机划分训练/测试集以保证泛化,支撑三点归纳。
- 原始内容:许多机器学习算法为达到性能最优的目的,将属性值映射到[0,1]区间,或者使其满足方差为1、为值为0的标准正态分布,从而使得提取出的特征具有相同的度量标准