知识卡片
无监督预训练是历史训练路线
书中DBN用逐层无监督学习得到较好的初始化,再进行监督微调,可利用大量未标注数据。这是早期深层模型训练的重要路线,不能据此说所有深度学习必须先DBN预训练,或预训练一定避开全部局部极值。把SVM、HMM等一律描述为“一个隐含层”也只是失真的类比,不应照搬为模型结构定义。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
Hinton的最大贡献是提出了使用非监督学习预训练的方式来对深层神经网络进行有效的训练(见本章参考文献[15]和参考文献[16])。通过使用多层受限波尔茨曼机(Restricted Boltzmann Machines)逐层叠加形成深度信念网络(Deep Belief Network,简称DBN),并采取非监督方式逐层地学习模型参数来对深度神经网络进行训练,这种训练方式的复杂度与神经网络的大小和层数呈线性增长关系,使得其是现实可行的,同时通过一些精心调整的DBN参数可以获得非常好的识别效果。这种方法之所以使机器学习任务识别准确率获得极大提升的精髓在于:通过大量数据的预训练过程,使得后期监督学习过程中的目标函数优化获得一个较好的优化起点,有效地避免了传统的训练方法易陷入局部极值点的问题,这样模型参数更可能接近全局最优解。除此之外,这种方法还有其他好处,比如,可以使用海量的非标注数据,而这种数据较标注数据而言获取的成本低得多;其时间复杂度与网络规模呈线性关系使得训练过程实际可行。另外,对于DBN这种包含上亿参数规模的模型来说,通过预训练也可以缓解其面临的过拟合(Over-Fitting)和欠拟合(Under-Fitting)问题。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落156,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:Hinton的最大贡献是提出了使用非监督学习预训练的方式来对深层神经网络进行有效的训练(见本章参考文献[15]和参考文献[16])。通过使用多层受限波尔茨曼机(Restricted Boltzmann Machines)逐层叠加形成深度信念网络(Deep Belief Network,简称DBN),并采取非监督方式逐层地学习模型参数来对深度神经网络进行训练,这种训练方式的复杂度与神经网络的大小和层数呈线性增长关系,使得其是现实可行的,同时通过一些精心调整的DBN参数可以获得非常好的识别效果。这种方法之所以使机器学习任务识别准确率获得极大提升的精髓在于:通过大量数据的预训练过程,使得后期监督学习过程中的目标函数优化获得一个较好的优化起点,有效地避免了传统的训练方法易陷入局部极值点的问题,这样模型参数更可能接近全局最优解。除此之外,这种方法还有其他好处,比如,可以使用海量的非标注数据,而这种数据较标注数据而言获取的成本低得多;其时间复杂度与网络规模呈线性关系使得训练过程实际可行。另外,对于DBN这种包含上亿参数规模的模型来说,通过预训练也可以缓解其面临的过拟合(Over-Fitting)和欠拟合(Under-Fitting)问题。