知识卡片
非负更新保持分解约束
NMF寻找非负W、H,使WH近似非负数据V。乘法更新把每个元素乘以非负的修正比,在非负初始化下保留非负约束;这不同于不加限制的加减式梯度更新。目标是在给定损失下迭代改善重构,并不保证找到唯一或全局最优表示;还应处理零值、数值稳定性和停止准则。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 行为规律的发现与挖掘 5.3 对无序稀疏数据的规律分析 · 查看原书依据
梯度下降通常使用基于加减法来调整矩阵,无法保证分解后的距阵非负,为了实现NMF分解的非负限制,改为使用乘除的方法来调整矩阵。具体可理解为将W、H都初始化为非负矩阵,每次迭代都乘以一个非负的数(可以理解为“相对梯度”)。如果某次预测值大于实际值,则,W、H矩阵对应的值乘以了0~1之间的数,使得预测值变小向真实值靠近;如果某次预测值比实际值小,则,W、H矩阵对应的值乘以一个大于1的数,使得预测值变大向真实值靠近。
参考来源
- 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第5章 行为规律的发现与挖掘,5.3 对无序稀疏数据的规律分析(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0029.xhtml)
- 结论依据:原文解释由非负初始化和乘除更新保持非负,不照抄其梯度符号作为通用实现。
- 原始内容:梯度下降通常使用基于加减法来调整矩阵,无法保证分解后的距阵非负,为了实现NMF分解的非负限制,改为使用乘除的方法来调整矩阵。具体可理解为将W、H都初始化为非负矩阵,每次迭代都乘以一个非负的数(可以理解为“相对梯度”)。如果某次预测值大于实际值,则,W、H矩阵对应的值乘以了0~1之间的数,使得预测值变小向真实值靠近;如果某次预测值比实际值小,则,W、H矩阵对应的值乘以一个大于1的数,使得预测值变大向真实值靠近。