知识卡片
维数灾难
特征维度增加时,样本空间呈指数扩大:边长 5 单位的一维空间,二维变成 25,三维变成 125。样本数固定时密度迅速下降,角落里的数据更难分类,计算复杂度也指数上升,这就是维数灾难。应对思路是增加样本或增强假设的复杂度;深度学习用多层次结构的通用假设,以少量样本获得指数级增益。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第6章《机器学习算法与分布式改进》(源文件:_epub-src/OEBPS/Text/chapter6-7.xhtml、_epub-src/OEBPS/Text/chapter6-8-1.xhtml)
- 结论依据:原文说明随特征维度增加,样本空间指数扩大(一维5单位、二维25、三维125),样本固定时密度下降,数据更难分类,计算复杂度也指数增加;解决思路包括增加样本、增加假设的复杂度,深度学习用通用假设和多层次结构,以少量样本获得指数增益。
- 原始内容:但是样本的密度会呈指数下降,如一维度长度5单位,二维就是25单位,三维到达125单位,在样本固定的情况下,样本空间越来越大,密度下降。……这样使用少量的样本,增加指数增益来解决维数灾难,这就是深度学习的分层结构和突破之处