← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7261 · 生成模型:WorkBuddy (Claude)

DNN深度与宽度调参

理解等级:中级

DNN(两层以上的神经网络,最原始状态是 LR)中,深度=网络层数,宽度=每层输出的神经元数,二者对效果影响都关键、无明显优劣。经验调法:第一层初始宽度不应超过输入特征维度,且宽度值最好取 2 的整数次方(如特征维度 1800→首层宽 1024);深度从 2 开始以 2 的倍数递增。

结构设计有三种范式(图6-1):矩形、倒三角、梯形 DNN,三者无明显优劣,一般推荐倒三角。调参步骤:① 固定深度(如3)和一层宽度(如1024);② 用三种范式各试选最好;③ 调宽度;④ 调深度。整体遵循“先过拟合再裁剪”原则——先让模型过拟合,再裁深度或宽度到最优(参见 [[DNN激活函数选择]]、[[拟合问题解决方案]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第6章《神经网络模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/56.html;src-037) - 结论依据:原文给出 DNN 深度/宽度的定义、首层宽度≤输入维度且取 2 的整数次方、深度从2倍增、三种设计范式及推荐倒三角、以及先过拟合再裁剪的调参步骤,直接支撑本卡。 - 原始内容:6.1.1 DNN的深度和宽度调参 在DNN的网络设计中,深度代表网络的层数,宽度代表每一层网络输出的神经元数量