知识卡片
CGC共享与专属专家
CGC(Customized Gate Control,自定义门控制)认为 MMOE 的专家被所有任务共享,可能丢失任务个性化信息,因此提出“共享专家 + 任务专属专家”的混合结构。对任务 k,其门控 g_k(x) 组合的不是全部专家,而是“共享专家(m_s 个)+ 该任务专属专家(m_k 个)”两部分,即 S_k = [共享专家; 任务k专属专家],输出 y_k(x)=t_k(g_k(x))。
这样每个任务既能利用全局共享知识,又有自己独享的专家刻画个性化。实践中有一个经验规律:在唯一场景的多任务下(如小视频以观看5s/30s为双目标),MMOE 的 AUC 反而高于 CGC;但在多场景多任务下(如信息流里广告任务与视频点击任务并存),CGC 优于 MMOE。可见任务相关性/场景差异会影响结构选型,没有绝对最优。它是 [[PLE多层专家结构]] 的单层前身。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 精排层的样本选择和模型选择 8.7 多目标建模 · 查看原书依据
在一些工业界的应用中,一些工程师发现,在唯一场景的多任务下(如小视频点击场景,以观看时长5s作为目标A,以观看市场30s作为目标B),MMOE的AUC是高于CGC的
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/114.html;src-054)
- 结论依据:原文说明 CGC 在 MMOE 基础上增加共享专家与任务专属专家、门控只组合二者,并给出单/多场景下 MMOE 与 CGC 的优劣对比。
- 原始内容:在一些工业界的应用中,一些工程师发现,在唯一场景的多任务下(如小视频点击场景,以观看时长5s作为目标A,以观看市场30s作为目标B),MMOE的AUC是高于CGC的