知识卡片
深层网络的构造
神经网络可以重复组合线性变换与非线性激活:一层的输出成为下一层输入,各层有各自的参数。多个神经元形成隐藏层,隐藏层较多的网络称为深度神经网络;增加层数可以改变模型表达能力,但并不保证在新数据上更好。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习基础 1.2.2 模型变形 · 查看原书依据
接下来可以继续改进模型,如图1.21 所示,从 变成 ,就是把 乘上 再加 ,最后通过 sigmoid函数(不一定要通过 sigmoid函数,通过 ReLU 也可以得到 ). 可以增加网络的层数,将同样的事情再反复多做几次:把 做这一连串的运算产生 ,接下来把 做这一连串的运算产生 ,等等.反复的次数是另一个超参数.注意,、 和 、 不是同一组参数,这里增加了更多的未知参数.
参考来源
- 位置:《深度学习详解》第1章《机器学习基础》1.2.1 节(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter01.xhtml`)
- 结论依据:原文以 ReLU、深层网络和观看量预测结果说明激活函数、层数和过拟合;相关图式和公式已读取。
- 原始内容:接下来可以继续改进模型,如图1.21 所示,从 变成 ,就是把 乘上 再加 ,最后通过 sigmoid函数(不一定要通过 sigmoid函数,通过 ReLU 也可以得到 ). 可以增加网络的层数,将同样的事情再反复多做几次:把 做这一连串的运算产生 ,接下来把 做这一连串的运算产生 ,等等.反复的次数是另一个超参数.注意,、 和 、 不是同一组参数,这里增加了更多的未知参数.