← 返回刚才阅读的位置

知识卡片

结构图卡 · 9816.o · 生成模型:DeepSeek-V4.1-Flash

Wide&Deep的记忆与泛化

理解等级:高级

推荐系统需要同时具备两种能力。记忆:学习大量物品与特征的共现规律,直接复用历史数据里的相关性,典型实现是人工构造的跨特征乘积(如“已安装应用 A”ד曝光应用 B”)喂给线性模型。它可解释、对已发生的行为很准,但只能看到出现过的组合,用户没做过的事就无从推荐。泛化:基于相关性迁移,探索很少出现或从未出现的组合,典型实现是嵌入加多层网络,把稀疏 ID 压成低维稠密向量。它能提升多样性,但当查询矩阵稀疏且秩高时,低维表示很难学准。

Wide & Deep 让两侧各干擅长的事,再把输出相加后过 sigmoid:Wide 侧是宽线性部分,Deep 侧是嵌入 + 隐层。

它和集成模型的差别在训练方式:集成里各模型分开训练再融合,Wide & Deep 是联合训练、同时优化所有参数,梯度会同时回传两侧。实践上 Wide 侧常用 FTRL(L1 正则产生稀疏),Deep 侧常用 AdaGrad。代价是 Wide 侧仍依赖人工特征工程,且两侧共享同一样本与联合目标,一侧的噪声会传给它侧。

结构图:

flowchart TD
  A[稀疏特征] --> B[人工交叉特征]
  A --> C[嵌入层]
  B --> D[Wide 线性部分]
  C --> E[Deep 隐层]
  D --> F[相加]
  E --> F
  F --> G[sigmoid 输出]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 推荐系统的主要算法 · 查看原书依据

      推荐系统中有一个极具挑战的问题,就是需要让系统同时具有记忆和泛化能力。记忆能力的实现需要系统学习大量物品和特征的共现率,然后利用这些共现率挖掘历史数据的相关性。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0116.html) - 结论依据:原文把“同时具备记忆与泛化”列为挑战,并说明记忆靠学习共现率实现,这正是 Wide 侧线性交叉与 Deep 侧嵌入分工的依据。 - 原始内容:推荐系统中有一个极具挑战的问题,就是需要让系统同时具有记忆和泛化能力。记忆能力的实现需要系统学习大量物品和特征的共现率,然后利用这些共现率挖掘历史数据的相关性。