知识卡片
度量模型深度的两条路径
模型有多深并没有唯一答案,常见有两种度量。第一种来自计算图:把输入到输出的计算画成流程图,最长路径的长度就是深度,等价于所需执行的顺序指令数;但同一函数选用不同基本操作作’一步’,流程图深度就不同,如同两个等价程序长度不同。第二种用于深度概率模型:不看计算图,而看描述概念彼此关联的图有多深;由于系统可在获得高层概念后反过来精细化低层概念,概念图仅两层也可能需要多轮计算。既然基本元素的选择和度量角度都不统一,’深’既没有单一正确值,也没有多深才算深的共识;确定的是深度学习的模型组合了更多学到的功能与概念。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 引言
原书出处 · 1 处
- 第1章 引言 · 查看原书依据
目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后,计算对应输出的流程图,则可以将这张流程图中的最长路径视为模型的深度。
参考来源
- 位置:《深度学习》第1章 引言(源文件:extracted/深度学习/_epub-src/text/part0000_split_000.html)
- 结论依据:原文提出两种度量方式,并以逻辑 sigmoid 模型在两种基本操作集下深度分别为3和1的例子说明深度依赖步骤的定义。
- 原始内容:目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后,计算对应输出的流程图,则可以将这张流程图中的最长路径视为模型的深度。