知识卡片
训练目标汇总样本损失
每个训练样本都有一项损失,训练通常最小化这些值的和或均值。固定样本集合且没有其他项时,总和与平均有相同最小点,但梯度尺度相差样本数。同一学习率可能有完全不同的更新幅度。若有正则项,还要固定它相对数据损失的权重。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 凸优化核心过程:真正搞懂梯度下降过程 · 查看原书依据
成本函数描述的就是样本总体的预测偏差情况,它可以是各个样本损失函数值之和,也可以是各个样本损失函数值之和的平均值。
参考来源
- 位置:《从零开始:机器学习的数学原理和算法实践》第6章《凸优化核心过程:真正搞懂梯度下降过程》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter006.xhtml)
- 结论依据:书用不同样本的目标冲突,解释单例损失和整体目标。
- 原始内容:成本函数描述的就是样本总体的预测偏差情况,它可以是各个样本损失函数值之和,也可以是各个样本损失函数值之和的平均值。