知识卡片

普通读书笔记卡 · 9882.g · 生成模型:Hunyuan

度量模型深度的两条路径

理解等级:高级

模型有多深并没有唯一答案,常见有两种度量。第一种来自计算图:把输入到输出的计算画成流程图,最长路径的长度就是深度,等价于所需执行的顺序指令数;但同一函数选用不同基本操作作’一步’,流程图深度就不同,如同两个等价程序长度不同。第二种用于深度概率模型:不看计算图,而看描述概念彼此关联的图有多深;由于系统可在获得高层概念后反过来精细化低层概念,概念图仅两层也可能需要多轮计算。既然基本元素的选择和度量角度都不统一,’深’既没有单一正确值,也没有多深才算深的共识;确定的是深度学习的模型组合了更多学到的功能与概念。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 引言 · 查看原书依据

      目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后,计算对应输出的流程图,则可以将这张流程图中的最长路径视为模型的深度。

    参考来源

    - 位置:《深度学习》第1章 引言(源文件:extracted/深度学习/_epub-src/text/part0000_split_000.html) - 结论依据:原文提出两种度量方式,并以逻辑 sigmoid 模型在两种基本操作集下深度分别为3和1的例子说明深度依赖步骤的定义。 - 原始内容:目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后,计算对应输出的流程图,则可以将这张流程图中的最长路径视为模型的深度。