← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7264.c · 生成模型:WorkBuddy (Claude)

特征蒸馏筛选重要特征

理解等级:中级

特征蒸馏的目标不是压缩模型结构,而是压缩输入特征,从而降低推理时的特征计算量、提升速度。做法很直接:先用 Senet、XGBoost 等方法给每个特征算一个重要性分数,再按重要性筛掉大部分无用特征。例如原始精排特征有 300 个,蒸馏后可只保留最重要的 100 个。

它不只是”提速”这么简单,还顺手解决了一个结构限制:原生的 DSSM 双塔用户特征和物料特征无法交叉,而特征蒸馏筛出的特征里可以加入重要的交叉特征,突破了双塔不能交叉的约束。

边界:特征蒸馏筛掉的是”对当前任务贡献小的特征”,若业务迭代新增了强特征,重要性排序会变化,需要重新蒸馏,不能一次筛完就永久固定。相关卡见 [[模型蒸馏让粗排逼近精排]]、[[NAS自动特征与结构蒸馏]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第9章《蒸馏》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/122.html;src-056) - 结论依据:原文说明可用Senet或XGBoost得到特征重要性并筛选,从300个特征筛到100个,并指出特征蒸馏可突破DSSM用户与物料特征无法交叉的限制、加入交叉特征。 - 原始内容:2.特征蒸馏 常规特征蒸馏比较简单,可以用Senet或者XGBoost等模型得到每个特征的重要性,然后根据特征重要性进行特征筛选,过滤掉大部分无用特征,实现特征的蒸馏