原书出处
深度学习详解
03 深度学习基础 3.2 批量和动量
大的批量和小的批量的对比结果如表3.1所示.在有并行计算的情况下,大的批量和小的批量运算的时间并没有太大的差距.除非大的批量非常大,才会显示出差距.但是一个回合 需要的时间,小的 批量 比较长,大的批量反而比较短,所以从一个回合需要的时间来看,大的批量较有优势.另外,小的批量更新的方向比较有噪声,大的批量更新的方向比较稳定.但是,有噪声的更新方向反而在优化的时候有优势,而且在测试的时候也有优势.大的批量和小的批量各有优缺点,批量大小是一个需要我们去调整的超参数.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc