知识卡片

普通读书笔记卡 · 7263.ac · 生成模型:WorkBuddy (Claude)

CGC共享与专属专家

理解等级:高级

CGC(Customized Gate Control,自定义门控制)认为 MMOE 的专家被所有任务共享,可能丢失任务个性化信息,因此提出“共享专家 + 任务专属专家”的混合结构。对任务 k,其门控 g_k(x) 组合的不是全部专家,而是“共享专家(m_s 个)+ 该任务专属专家(m_k 个)”两部分,即 S_k = [共享专家; 任务k专属专家],输出 y_k(x)=t_k(g_k(x))。

这样每个任务既能利用全局共享知识,又有自己独享的专家刻画个性化。实践中有一个经验规律:在唯一场景的多任务下(如小视频以观看5s/30s为双目标),MMOE 的 AUC 反而高于 CGC;但在多场景多任务下(如信息流里广告任务与视频点击任务并存),CGC 优于 MMOE。可见任务相关性/场景差异会影响结构选型,没有绝对最优。它是 [[PLE多层专家结构]] 的单层前身。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/114.html;src-054) - 结论依据:原文说明 CGC 在 MMOE 基础上增加共享专家与任务专属专家、门控只组合二者,并给出单/多场景下 MMOE 与 CGC 的优劣对比。 - 原始内容:在一些工业界的应用中,一些工程师发现,在唯一场景的多任务下(如小视频点击场景,以观看时长5s作为目标A,以观看市场30s作为目标B),MMOE的AUC是高于CGC的