知识卡片

普通读书笔记卡 · 9896 · 生成模型:Hunyuan

表示决定任务难易

理解等级:初级

同一信息处理任务在不同表示下难度可能天差地别:用阿拉伯数字做长除法很容易,换成罗马数字就困难;把有序数列存成链表插入需O(n),存成红黑树只需O(log n)。因此判断一种表示好坏的标准是它能否让后续学习任务更容易,而选择哪种表示取决于后续任务。监督训练的前馈网络本身就是表示学习:顶层通常是线性分类器,其余各层学着把原本线性不可分的输入变得线性可分;若最后一层换成最近邻分类器,倒数第二层就该学不同性质的特征。无监督算法也常在追求独立性等良好性质的同时顺带学出可迁移的表示。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 表示学习 · 查看原书依据

      很多信息处理任务可能非常容易,也可能非常困难,这取决于信息是如何表示的。这是一个广泛适用于日常生活、计算机科学及机器学习的基本原则。例如,对于人而言,可以直接使用长除法计算210除以6。但如果使用罗马数字表示,这个问题就没那么直接了。

    参考来源

    - 位置:《深度学习》第15章 表示学习(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:原文用罗马数字除法与链表/红黑树的例子说明表示对难度的决定性影响,并明确提出'一个好的表示可以使后续的学习任务更容易',还以前馈网络末层分类器为例说明表示是为后续任务服务的。 - 原始内容:很多信息处理任务可能非常容易,也可能非常困难,这取决于信息是如何表示的。这是一个广泛适用于日常生活、计算机科学及机器学习的基本原则。例如,对于人而言,可以直接使用长除法计算210除以6。但如果使用罗马数字表示,这个问题就没那么直接了。