知识卡片

普通读书笔记卡 · 9886.s · 生成模型:GPT-6

维度增加使样本稀疏

理解等级:中级

若每个维度分成 m 个区间,d 维空间就有 m^d 个小格;样本数固定时,平均每格样本数随维度迅速下降。分类边界在缺少附近样本时更难估计。实际数据可能集中在较低维的结构上,能缓解稀疏,但是否有效取决于数据与模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第7章《分类》(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0014_split_006.html`) - 结论依据:原文解释二分类组合、聚类或高维空间;卡片中明确模型与几何约束。 - 原始内容:随着维数的增加,密度将趋近于0。 这意味着分类器最终会“胡乱猜想”。 因此,在鸡蛋中加入更多的观测值就意味着在样本中加入更多的维度,从而导致预测器找到一个能够很好地处理新数据的边界的可能性越来越小。 维度灾难是一个严重的