知识卡片

普通读书笔记卡 · 9852.a · 生成模型:Hunyuan

全连接处理高维的困境

理解等级:中级

传统神经网络层与层之间采用全连接,当输入是高维数据且层数较多时,参数量会膨胀成天文数字。例如一张 1000×1000 的灰度图有百万个输入节点,仅连到 100 个隐藏节点就需要 1000000×100 的权重矩阵,再加深层和反向传播更难以承受。全连接还容易过拟合,因为它不考虑图像的空间结构。这一困境正是引入卷积网络(见 [[卷积神经网络整体架构]])的动机:用局部连接与参数共享替代全连接。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 计算机视觉处理 · 查看原书依据

      传统神经网络层之间都采用全连接方式,如果采样数据层数较多,且输入又是高维数据,那么其参数数量可能将是一个天文数字。比如训练一张1000×1000像素的灰色图片,输入节点数就是1000×1000,如果隐藏层节点是100,那么输入层到隐藏层间的权重矩阵就是1000000×100!

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第3章 计算机视觉处理(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter6_0001.xhtml) - 结论依据:原文以 1000×1000 灰度图为例,说明全连接权重矩阵规模达 1000000×100,且容易导致过拟合。 - 原始内容:传统神经网络层之间都采用全连接方式,如果采样数据层数较多,且输入又是高维数据,那么其参数数量可能将是一个天文数字。比如训练一张1000×1000像素的灰色图片,输入节点数就是1000×1000,如果隐藏层节点是100,那么输入层到隐藏层间的权重矩阵就是1000000×100!