知识卡片

普通读书笔记卡 · 9441.g · 生成模型:Tencent Hunyuan Hy

数据归约与维归约

理解等级:初级

数据归约是在尽量保持数据原貌的前提下精简数据量,使训练更高效且得到与分析原数据集相同的结论。章中用“下载图片的无损压缩”作类比:压缩后文件更小而分辨率基本不变,归约后数据集更小而表达含义基本保留。三个基本操作是删除列、删除行、减少列取值数量;常见手段有维归约、数据压缩、数量归约。用途:当特征数百上千而样本仅几百时,降维能缩短训练时间、避免算法不可用、提升模型在新数据上的实用性。边界:归约是有损权衡,过度会丢失有价值信息;实施前必须评估计算时间、预测精度、挖掘复杂度三方面,资源满足才做大规模归约。反例:为省事删掉“日期”这类看似无用实则含周期规律的特征。可迁移启发:把归约当作精度与成本的平衡,而非一味求小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文用“数据归约技术好比是图片的无损压缩”类比,并写明“三个基本操作是删除列、删除行和减少列取值的数量”及三方面评估条件,支撑本卡结论。 - 原始内容:数据归约技术好比是图片的无损压缩,通过该技术可以得到比原数据集小很多,但仍然保持原数据表达含义的规约数据集。