知识卡片
NAS自动特征与结构蒸馏
神经网络架构搜索(NAS)是 AutoML 的分支,它把”网络结构怎么搭”也变成可优化的变量。在特征与模型蒸馏里,NAS 的思路是把结构搜索转成连续空间的优化问题,用梯度下降一并求解结构和权重,从而自动筛出”该留哪些特征、网络该有几层、每层多少神经元”。
具体做法:给 n 个特征各自引入一个可学习的伯努利 mask 参数做特征筛选;给每层设定一个”超级网络”,节点输出带噪声参数做平滑;训练完再依据 mask 和层参数挑出有用特征和合适的层数/维度。更进一步,它还在损失里加入”特征处理时长”“矩阵乘法耗时”等效率指标,让搜出来的结构不仅准,还快。
权衡:相比人工用 Senet/XGBoost 筛特征,NAS 能同时优化特征与结构并显式约束耗时,但搜索本身成本高,更适合对时延极度敏感、又想自动化的场景。相关卡见 [[特征蒸馏筛选重要特征]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 粗排层的样本选择和模型选择 9.1 蒸馏 · 查看原书依据
它的主要思路是将网络结构搜索转换为连续空间的优化问题,采用梯度下降法求解,可高效地搜索神经网络架构,同时得到网络的权重参数
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第9章《蒸馏》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/122.html;src-056)
- 结论依据:原文说明NAS将网络结构搜索转为连续空间优化并用梯度下降求解,通过可学习伯努利mask筛选特征、用超级网络确定层数与神经元,并在损失中引入特征与模型效率指标。
- 原始内容:它的主要思路是将网络结构搜索转换为连续空间的优化问题,采用梯度下降法求解,可高效地搜索神经网络架构,同时得到网络的权重参数