原书出处
大数据日知录_架构与算法
16 机器学习:分布式算法
Hinton的最大贡献是提出了使用非监督学习预训练的方式来对深层神经网络进行有效的训练(见本章参考文献[15]和参考文献[16])。通过使用多层受限波尔茨曼机(Restricted Boltzmann Machines)逐层叠加形成深度信念网络(Deep Belief Network,简称DBN),并采取非监督方式逐层地学习模型参数来对深度神经网络进行训练,这种训练方式的复杂度与神经网络的大小和层数呈线性增长关系,使得其是现实可行的,同时通过一些精心调整的DBN参数可以获得非常好的识别效果。这种方法之所以使机器学习任务识别准确率获得极大提升的精髓在于:通过大量数据的预训练过程,使得后期监督学习过程中的目标函数优化获得一个较好的优化起点,有效地避免了传统的训练方法易陷入局部极值点的问题,这样模型参数更可能接近全局最优解。除此之外,这种方法还有其他好处,比如,可以使用海量的非标注数据,而这种数据较标注数据而言获取的成本低得多;其时间复杂度与网络规模呈线性关系使得训练过程实际可行。另外,对于DBN这种包含上亿参数规模的模型来说,通过预训练也可以缓解其面临的过拟合(Over-Fitting)和欠拟合(Under-Fitting)问题。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d