知识卡片

普通读书笔记卡 · 9770.d · 生成模型:DeepSeek-V4.1-Flash

维数灾难让最近的距离失去意义

理解等级:高级

在 d 维单位立方体里随机生成点对并测距离,会看到两件事:维度上升,平均距离上升;更麻烦的是最小距离与平均距离的比值趋近 1。低维时最近的点明显比典型点近得多,最近邻因此有特殊性;高维时最近的点几乎和随便挑一个点一样远。

原因在于“邻近”要求两个点在每一个维度上都接近,每增加一维——哪怕这一维只是纯噪声——都多给了一次把两点推开的机会,而同时接近的概率随维度指数衰减。后果是 k 个最近邻的投票近似随机,基于距离的方法(聚类、异常检测)一起受损。例外是数据本身有强结构、实际只落在低维流形上,此时高维坐标只是表象,距离仍可能有效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 k 最近邻法 · 查看原书依据

      但是,只有当两个点在每个维度上都接近时,这两点才可以称作邻近,而每增加一个维度——即使只是噪声——都可能使每个点远离其他点。当维度很高时,看上去最接近的点可能不会比平均距离更小,因此两点接近并不意味着什么,除非数据中有很多结构,使其表现得像是在较低的维度。

    参考来源

    - 位置:《数据科学入门(第2版)》第12章 k 最近邻法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0016.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「但是,只有当两个点在每个维度上都接近时,这两点才可以称作邻近,而每增加一个维度—……」 - 原始内容:但是,只有当两个点在每个维度上都接近时,这两点才可以称作邻近,而每增加一个维度——即使只是噪声——都可能使每个点远离其他点。当维度很高时,看上去最接近的点可能不会比平均距离更小,因此两点接近并不意味着什么,除非数据中有很多结构,使其表现得像是在较低的维度。