知识卡片
评分次数加权正则惩罚
ALS-WR在观测评分平方误差之外,按用户或商品的评分次数分别加权其因子向量的L2惩罚,缓解稀疏观测下参数过大。它改变正则强度与数据量之间的关系,不是把所有空评分当0补入损失。正则可降低过拟合风险,但不存在仅靠一个λ就保证所有数据上泛化正确的结论。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
在前面提到会在结构风险最小化损失函数中引入Tikhonov正则项,以此抑制过大的参数值来达到避免过拟合的目的,ALS-WR中的所谓“加权λ罚”(Weighted-λ-Regularization)是Tikhonov正则项的一种具体体现,经验表明,使用考虑加权λ罚的如下损失函数可以避免过拟合现象:
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落69,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:在前面提到会在结构风险最小化损失函数中引入Tikhonov正则项,以此抑制过大的参数值来达到避免过拟合的目的,ALS-WR中的所谓“加权λ罚”(Weighted-λ-Regularization)是Tikhonov正则项的一种具体体现,经验表明,使用考虑加权λ罚的如下损失函数可以避免过拟合现象: