← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9405.c · 生成模型:Tencent Hunyuan Hy

维度灾难

理解等级:高级

维度灾难指:训练样本数量固定时,特征维度越高,样本在空间中越稀疏(大多数特征取值为空),于是”最近的邻居”在高维空间里实际距离也很远,难以给出可靠的类标判定。这使 KNN 这类依赖距离的算法特别容易过拟合。逻辑斯谛回归可用正则化避免过拟合,但正则化不适用于决策树、KNN 等算法——对这些模型,要靠特征选择和降维来缓解维度灾难(下一章展开)。理解要点:维度灾难是”样本密度随维度指数下降”带来的距离失效问题,对策因模型而异——线性模型用正则,基于距离/树的模型用降维与特征选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第3章《3.7 惰性学习算法——k-近邻算法》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0045.xhtml.xhtml) - 结论依据:原文定义维度灾难为高维下样本稀疏导致近邻实际距离远、KNN 易过拟合,并指出正则化不适用决策树/KNN、须用特征选择与降维。 - 原始内容:维度灾难是指这样一种现象:对于一个样本数量大小稳定的训练数据集,随着其特征数量的增加,样本中有具体值的特征数量变得极其稀疏