← 返回刚才阅读的位置

知识卡片

操作参考卡 · 1781.e.3

按更新粒度选择训练方式

理解等级:中级

在线训练每次用一个样本更新,批训练用完整训练集形成一次更新,Mini-Batch每次用一小批数据。选择会改变梯度方差、设备并行、通信与模型响应速度;在线训练不是永远按固定数据顺序,批训练也不是只运行一次就得到模型。应同时明确一轮和一次参数更新的含义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      通过以上方法,即可求解目标函数的无约束最优化问题,并根据训练数据获得最优的特征权重。根据如何利用训练数据训练模型的不同方式,又可以将数值优化方法分为三类:在线学习(Online Learning)、批学习(Batch Learning)和Mini-Batch学习。在线学习在训练模型过程中通过序列化方式以一次学习一个训练实例的方式完成,这样可以满足模型不断增量更新的需求场合;批学习则是每次需要所有的训练数据才能得到模型;Mini-Batch学习介于两者之间,通过一次学习一批训练数据的方式完成模型更新。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落24,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:通过以上方法,即可求解目标函数的无约束最优化问题,并根据训练数据获得最优的特征权重。根据如何利用训练数据训练模型的不同方式,又可以将数值优化方法分为三类:在线学习(Online Learning)、批学习(Batch Learning)和Mini-Batch学习。在线学习在训练模型过程中通过序列化方式以一次学习一个训练实例的方式完成,这样可以满足模型不断增量更新的需求场合;批学习则是每次需要所有的训练数据才能得到模型;Mini-Batch学习介于两者之间,通过一次学习一批训练数据的方式完成模型更新。