知识卡片
病态条件与误差放大
条件数衡量函数输出对输入微小变化的敏感程度。对矩阵求逆而言,条件数可写成最大与最小特征值模之比;当这个比值很大时,输入的微小舍入误差会被放大成输出的巨大误差。关键在于这种敏感性是矩阵本身的固有性质,而不是求逆过程中舍入误差造成的:即使乘上完全精确的逆矩阵,病态矩阵依然会放大已经存在的误差,实际中它还会与求逆自身的数值误差进一步叠加。因此单纯提高求逆精度无法根治问题,根源在于问题本身不同方向的尺度差异。同一思想延伸到深度学习中的Hessian条件数:当不同方向的曲率相差悬殊时,步长必须在快曲率方向不过冲与慢曲率方向有进展之间两难,梯度下降因而表现很差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 数值计算
原书出处 · 1 处
- 第4章 数值计算 · 查看原书依据
当该数很大时,矩阵求逆对输入的误差特别敏感。 这种敏感性是矩阵本身的固有特性,而不是矩阵求逆期间舍入误差的结果。即使我们乘以完全正确的矩阵逆,病态条件的矩阵也会放大预先存在的误差。
参考来源
- 位置:《深度学习》第4章 数值计算(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html)
- 结论依据:原文明确指出敏感性是矩阵固有特性而非求逆舍入误差的结果,并用最大与最小特征值模之比定义条件数,支撑了误差被放大且无法靠精确求逆消除的结论。
- 原始内容:当该数很大时,矩阵求逆对输入的误差特别敏感。 这种敏感性是矩阵本身的固有特性,而不是矩阵求逆期间舍入误差的结果。即使我们乘以完全正确的矩阵逆,病态条件的矩阵也会放大预先存在的误差。