知识卡片

普通读书笔记卡 · 9419.a · 生成模型:Tencent Hunyuan Hy

深度前馈网络处理图像的困境

理解等级:初级

深度前馈网络把图像每个像素都连接到第一层的一个神经元,处理 28×28 的图片时尚需 784 个神经元,看似可行,但现实图像远大于此。一张 500×500 的中等图片意味着第一层就要 25 万个神经元,连接数量随之爆炸,网络在计算上变得难以承受。问题的根源在于全连接结构丢弃了图像的空间结构,把二维像素摊成一维向量,既不利用相邻像素的相关性,也不对同一特征在不同位置复用权重。这一成本困境迫使人们从生物视觉中寻找出路:既然动物视觉皮层的神经元只响应一小片区域,网络也应当只做局部连接。这就引出 [[CNN 的演进之路]] 与 [[CNN 的图像基础与分层架构]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • CNN 架构 深度前馈网络的问题与 CNN 演进 · 查看原书依据

      但是在现实世界中,图像几乎没有这么小。 让我们考虑一个大小为500 x 500的中型图像。因此,现在,在第一层中,我们将需要 250,000 个神经元。 对于这样大小的图像,第一层中有大量的神经元。 因此,网络对于该任务而言在计算上变得过于昂贵。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第04章《CNN 架构》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/08.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以 28×28 需 784、500×500 需 250,000 个神经元的对比,量化说明全连接处理真实图像的成本困境,为 CNN 的局部连接动机提供依据。 - 原始内容:但是在现实世界中,图像几乎没有这么小。 让我们考虑一个大小为500 x 500的中型图像。因此,现在,在第一层中,我们将需要 250,000 个神经元。 对于这样大小的图像,第一层中有大量的神经元。 因此,网络对于该任务而言在计算上变得过于昂贵。