← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9882.f · 生成模型:Hunyuan

深度的程序执行视角

理解等级:高级

除了’学到正确表示’,还可以把深度理解为计算机在学习一个多步骤的程序。每一层的激活可看作并行执行一组指令后的存储器状态,网络越深,就能按顺序执行越多指令;顺序指令之所以强大,是因为后续步骤能参考前面步骤的结果。这个视角还揭示:某层并非只编码解释输入所需的变差因素,它还保存着有助于组织处理过程的状态信息,类似传统程序里的计数器或指针,与具体输入内容无关却指引流程。这也提示深层网络的能力不仅来自表示更抽象,还来自计算步骤更多、可复用中间结果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 引言 · 查看原书依据

      另一个视角是深度促使计算机学习一个多步骤的计算机程序。每一层表示都可以被认为是并行执行另一组指令之后计算机的存储器状态。更深的网络可以按顺序执行更多的指令。顺序指令提供了极大的能力,因为后面的指令可以参考早期指令的结果。

    参考来源

    - 位置:《深度学习》第1章 引言(源文件:extracted/深度学习/_epub-src/text/part0000_split_000.html) - 结论依据:原文并列提出'表示'与'多步骤程序'两种视角,并说明层状态中除变差因素外还含有类似计数器、指针的状态信息。 - 原始内容:另一个视角是深度促使计算机学习一个多步骤的计算机程序。每一层表示都可以被认为是并行执行另一组指令之后计算机的存储器状态。更深的网络可以按顺序执行更多的指令。顺序指令提供了极大的能力,因为后面的指令可以参考早期指令的结果。