知识卡片
深度学习的训练数据挑战
深度学习的表现强依赖训练数据规模:数据少时它常不敌传统机器学习,数据充足后才反超,且差距随数据量增大而拉大。原因是从头训练模型需要海量样本,暴露出两大不足:样本效率低,分类需每类大量样本(如手写数字每类数千);可移植性差,不会利用同任务既往经验,迁移学习仍需大数据微调。人类却能凭少量样本快速学习,这正是[[元学习:学习如何学习]]要弥合的鸿沟。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度学习的新趋势 深度学习的挑战:训练数据 · 查看原书依据
样本效率:深度学习的样本效率低,因为它需要来自各个类别的足够的样本用于分类任务,而对于回归任务则需要足够的变化。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第08章《深度学习的新趋势》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/15.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文以数据量-性能关系与样本效率、可移植性两点,支撑深度学习依赖大数据且弱于人类小样本学习。
- 原始内容:样本效率:深度学习的样本效率低,因为它需要来自各个类别的足够的样本用于分类任务,而对于回归任务则需要足够的变化。