← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7264.b · 生成模型:WorkBuddy (Claude)

模型蒸馏让粗排逼近精排

理解等级:中级

模型蒸馏用”老师—学生”框架,把一个大而强的模型的知识迁移到小而快的模型上。老师模型(大模型)参数固定,数据先过老师,输出各层中间表示和最终概率;学生模型(小模型)不仅要拟合真实标签,还要去逼近老师的软标签(中间层表示和最终概率),从而同时学到数据本身的分布和老师模型的泛化能力,效果逼近大模型却更轻。

在推荐系统的粗排里,通常把精排当作老师、把简单的 MLP 当作学生:因为精排本就不像 BERT 那么大,一般直接用精排输出的概率作为软标签,让学生概率与之做 KL 散度或 MSE 损失。若 MLP 仍不满足上线 QPS,可换用 DSSM 作为学生模型,而不局限于 MLP。

可迁移启发:蒸馏的本质是”用强模型的输出监督弱模型”,任何”重模型上线不了、轻模型效果不够”的场景都可用类似思路。相关卡见 [[特征蒸馏筛选重要特征]]、[[粗排层的缓冲层定位]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第9章《蒸馏》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/122.html;src-056) - 结论依据:原文说明推荐中一般将精排作老师、MLP作学生,用精排概率作软标签并以KL散度或MSE作为损失,且MLP不满足QPS时可改用DSSM作学生。 - 原始内容:因为精排模型通常不会像Bert那么大,所以一般让精排模型最后的概率作为软标签,让学生模型的概率作为KL散度或者MSE