← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9905.i · 生成模型:Hunyuan

WideDeep的记忆泛化分工

理解等级:中级

Wide&Deep的核心洞察是:简单模型与深度模型各有所长,应当融合。记忆能力指模型直接利用历史数据中共现频率的能力,如逻辑回归能把装了netflix又看到pandora这类强组合特征的权重学得很大,形成点击过A就推荐B式的规则记忆;泛化能力指把相关性传递到稀疏甚至未见过的特征上,矩阵分解的隐向量、深度网络的多层自动组合都擅长此道,能对稀疏输入给出平滑稳定的预测。Wide&Deep用单层Wide负责记忆、多层Deep负责泛化,正好互补。这启发我们:面对同时存在高频强规则与长尾稀疏模式的问题,显式分工往往比单一结构更稳妥。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据

      一般来说,协同过滤、逻辑回归等简单模型有较强的“记忆能力”。由于这类模型的结构简单,原始数据往往可以直接影响推荐结果,产生类似于“如果点击过A,就推荐B”这类规则式的推荐,这就相当于模型直接记住了历史数据的分布特点,并利用这些记忆进行推荐。

    参考来源

    - 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_006.html) - 结论依据:原文以netflix与pandora例子定义记忆能力,并以矩阵分解和DNN解释泛化能力,说明二者融合动机。 - 原始内容:一般来说,协同过滤、逻辑回归等简单模型有较强的“记忆能力”。由于这类模型的结构简单,原始数据往往可以直接影响推荐结果,产生类似于“如果点击过A,就推荐B”这类规则式的推荐,这就相当于模型直接记住了历史数据的分布特点,并利用这些记忆进行推荐。