知识卡片
维度灾难
维度灾难指:训练样本数量固定时,特征维度越高,样本在空间中越稀疏(大多数特征取值为空),于是”最近的邻居”在高维空间里实际距离也很远,难以给出可靠的类标判定。这使 KNN 这类依赖距离的算法特别容易过拟合。逻辑斯谛回归可用正则化避免过拟合,但正则化不适用于决策树、KNN 等算法——对这些模型,要靠特征选择和降维来缓解维度灾难(下一章展开)。理解要点:维度灾难是”样本密度随维度指数下降”带来的距离失效问题,对策因模型而异——线性模型用正则,基于距离/树的模型用降维与特征选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 3.7 惰性学习算法——k-近邻算法 · 查看原书依据
维度灾难是指这样一种现象:对于一个样本数量大小稳定的训练数据集,随着其特征数量的增加,样本中有具体值的特征数量变得极其稀疏
参考来源
- 位置:《Python机器学习》第3章《3.7 惰性学习算法——k-近邻算法》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0045.xhtml.xhtml)
- 结论依据:原文定义维度灾难为高维下样本稀疏导致近邻实际距离远、KNN 易过拟合,并指出正则化不适用决策树/KNN、须用特征选择与降维。
- 原始内容:维度灾难是指这样一种现象:对于一个样本数量大小稳定的训练数据集,随着其特征数量的增加,样本中有具体值的特征数量变得极其稀疏