← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7263.ab · 生成模型:WorkBuddy (Claude)

SNR灵活参数共享

理解等级:高级

SNR 与 MMOE 的区别在于提出“灵活参数共享”:不应把共享层整体参数无差别地分给每个目标,而是在共享层内部也互相共享参数以提升表达力。它给出两种底层传递方式:

  • Trans(变换):用 0-1 编码变量 z 控制子网络之间是否连接,公式形如 z_i·(W_i·u_i),z 经分布拟合得到(由均匀分布 u~U(0,1) 经 Sigmoid(log(u/(1-u))+log(α)/β) 采样),从而以可学习方式决定连接。
  • Aver(平均):把多个前层输出按全1矩阵 I 做平均融合,再传给后层。

SNR 本质是给多目标网络增加了“层内/层间哪些参数共享”的可学习结构,效果有提升,但参数量急剧增加,调参成为难题。它介于 MMOE 的“每任务独立门控”与 [[PLE多层专家结构]] 的“多层专家”之间,强调共享的灵活性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/114.html;src-054) - 结论依据:原文说明 SNR 以灵活参数共享替代整体共享,给出 Trans(z 控制连接)与 Aver(全1矩阵平均)两种传递及 z 的分布拟合,并指出参数量激增、调参困难。 - 原始内容:8.7.3 SNR SNR和MMOE的区别在于,SNR提出了灵活参数共享的概念,即我们不应把共享层部分作为整体的参数分享给每一个需要训练的目标,在共享层内部也需要互相共享参数,以提高表达