← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9398 · 生成模型:Tencent Hunyuan Hy

数据预处理三件事

理解等级:中级

原始数据很少直接满足算法要求,预处理是机器学习应用中必不可少的步骤。第 1 章先点出三类核心处理: 1. 特征缩放:把属性值映射到 [0,1] 或变成均值 0、方差 1 的标准正态分布,让不同特征有统一度量标准,许多算法这样才能达到最优性能。 2. 降维去冗余:属性间高度相关会带来数据冗余,把数据压到低维子空间,既省存储又让算法跑得更快。 3. 划分训练/测试集:随机把数据分成训练集与测试集,用训练集训练优化模型,用测试集评估最终模型,目的是保证模型不仅在训练集有效、还能应用到新数据。

这三类处理会在第 4、5 章展开为具体方法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1.3.1 数据预处理 · 查看原书依据

      许多机器学习算法为达到性能最优的目的,将属性值映射到[0,1]区间,或者使其满足方差为1、为值为0的标准正态分布,从而使得提取出的特征具有相同的度量标准

    参考来源

    - 位置:《Python机器学习》第1章《1.3.1 数据预处理》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0015.xhtml.xhtml) - 结论依据:原文依次讲特征缩放统一度量、降维去冗余省存储提速、随机划分训练/测试集以保证泛化,支撑三点归纳。 - 原始内容:许多机器学习算法为达到性能最优的目的,将属性值映射到[0,1]区间,或者使其满足方差为1、为值为0的标准正态分布,从而使得提取出的特征具有相同的度量标准