知识卡片
用差商近似导数
精确求导要先写出解析式,但很多函数只想要“数值上够用”的斜率。差商用 (f(x+h)-f(x))/h 代替极限:几何上是用两点割线的斜率逼近切线斜率,h 越小越接近。多变量时对第 i 个分量单独加 h、其余不动,得到偏差商,逐分量拼成梯度向量。这种做法的代价有两层:一是精度与稳定性,h 太大会有截断误差,太小会被浮点相减的舍入误差吞掉;二是成本,n 维就要算 n 次函数值,每次迭代都重算就非常昂贵。因此实际建模偏好解析梯度,差商多用于没有解析式或校验梯度实现的场合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 梯度下降
原书出处 · 1 处
- 第8章 梯度下降 · 查看原书依据
如果不能(或不想)计算梯度怎么办?虽然不能在 Python 中直接计算极限,但可以通过计算一个非常小的变动 e 的差商来估计导数。图 8-3 给出了这个估计的结果。
参考来源
- 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「如果不能(或不想)计算梯度怎么办……」
- 原始内容:如果不能(或不想)计算梯度怎么办?虽然不能在 Python 中直接计算极限,但可以通过计算一个非常小的变动 e 的差商来估计导数。图 8-3 给出了这个估计的结果。