← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9843.i · 生成模型:Hunyuan

隐含层节点数的取舍

理解等级:中级

BP 网络的隐含层设计分两件事:层数与节点数。常见结构是三层(一个隐含层),理论证明单隐含层可映射所有连续函数,只有训练离散函数才需更多层,因此隐含层最多不超过两层,默认先用一层。节点数没有固定策略,一般用凑试法:先按经验公式估计再调整。关键是节点数不能过多也不能过少:过多会延长训练时间、记录随机噪声、影响分类效果;过少则表达力不足,例如仅一个节点时曲线退化为 y=Ax+b,拟合非线性系统必然失败。要点:隐含层节点数是容量与泛化的权衡,过拟合与欠拟合分别对应两侧;与增加层数相比,优先调节点数更常用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 神经网络初步 · 查看原书依据

      选择的隐含层节点数不能过多,也不能过少。过多的节点数会导致训练时间增长,并且会记录一些随机噪声,影响分类效果;过少的节点数,例如,如果只有一个节点,那么曲线方程就变成了y=Ax+b的形式。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html) - 结论依据:原文说明单隐含层可映射连续函数、最多两层,并具体指出节点过多记录噪声、过少退化为线性形式,支撑“节点数是容量权衡”的结论。 - 原始内容:选择的隐含层节点数不能过多,也不能过少。过多的节点数会导致训练时间增长,并且会记录一些随机噪声,影响分类效果;过少的节点数,例如,如果只有一个节点,那么曲线方程就变成了y=Ax+b的形式。