知识卡片

普通读书笔记卡 · 2795.d

维数灾难

理解等级:未标注

特征维度增加时,样本空间呈指数扩大:边长 5 单位的一维空间,二维变成 25,三维变成 125。样本数固定时密度迅速下降,角落里的数据更难分类,计算复杂度也指数上升,这就是维数灾难。应对思路是增加样本或增强假设的复杂度;深度学习用多层次结构的通用假设,以少量样本获得指数级增益。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第6章《机器学习算法与分布式改进》(源文件:_epub-src/OEBPS/Text/chapter6-7.xhtml、_epub-src/OEBPS/Text/chapter6-8-1.xhtml) - 结论依据:原文说明随特征维度增加,样本空间指数扩大(一维5单位、二维25、三维125),样本固定时密度下降,数据更难分类,计算复杂度也指数增加;解决思路包括增加样本、增加假设的复杂度,深度学习用通用假设和多层次结构,以少量样本获得指数增益。 - 原始内容:但是样本的密度会呈指数下降,如一维度长度5单位,二维就是25单位,三维到达125单位,在样本固定的情况下,样本空间越来越大,密度下降。……这样使用少量的样本,增加指数增益来解决维数灾难,这就是深度学习的分层结构和突破之处