知识卡片

普通读书笔记卡 · 9834.m · 生成模型:DeepSeek-V4.1-Flash

LLE 保持邻域的线性关系

理解等级:中级

PCA 与 LDA 关注的都是”方差”——投影后整体铺得开不开、类与类分得开不开。局部线性嵌入(LLE)关注的完全是另一件事:降维时保住样本局部的线性结构。

它的出发假设是:数据整体可能是弯曲的(一个低维流形被嵌在高维空间里),但在足够小的邻域内可以近似看成平的。于是每个样本都能用它邻域里的几个点线性表示:

x₁ = w₁₂x₂ + w₁₃x₃ + w₁₄x₄

这组权重 w 描述的是”x₁ 相对于邻居的位置”,是一种局部的几何坐标。LLE 的要求是:降维之后,同一个样本与同一批邻居之间的这组权重尽量不变,

x₁′ ≈ w₁₂x₂′ + w₁₃x₃′ + w₁₄x₄′

也就是只搬到低维空间,不改写局部的相对位置。相比”保持全局方差”,这是一个弱得多、也局部得多的约束,因此适合处理 PCA 会破坏的弯曲结构。

代价体现在它的假设上:局部线性要求采样足够稠密均匀,否则”邻域线性”不成立;流形还必须是不闭合的,因为闭合流形(如球面)无法在低维空间里保持局部关系而不撕裂;结果对最近邻数 K 也敏感,K 太小则邻域退化成噪声、K 太大则跨越流形边界。优点则是能学任意维的局部线性低维流形,且最终归结为稀疏矩阵的特征分解,计算复杂度相对可控。

求解过程本身是两步(见 [[LLE 先求权重再求坐标]]):先在原空间解出权重 W,再固定 W 求低维坐标 Y——同一套权重,前后各用一次。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第13章《第13章 降维》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00016.html) - 结论依据:原文指出 LLE 与关注方差的 PCA/LDA 不同,更关注保持局部线性特征,给出"样本可由邻域样本线性表示、降维后权重不变"的假设,并在小结中列出适用条件与对近邻数的敏感性。 - 原始内容:LLE 首先假设数据在较小的局部是线性的,即某一个数据可以由它邻域中的几个样本来线性表示……与PCA和LDA等关注样本方差的降维方法相比,LLE更关注于降维时保持样本局部的线性特征