知识卡片

普通读书笔记卡 · 9885.a · 生成模型:Hunyuan

病态条件与误差放大

理解等级:中级

条件数衡量函数输出对输入微小变化的敏感程度。对矩阵求逆而言,条件数可写成最大与最小特征值模之比;当这个比值很大时,输入的微小舍入误差会被放大成输出的巨大误差。关键在于这种敏感性是矩阵本身的固有性质,而不是求逆过程中舍入误差造成的:即使乘上完全精确的逆矩阵,病态矩阵依然会放大已经存在的误差,实际中它还会与求逆自身的数值误差进一步叠加。因此单纯提高求逆精度无法根治问题,根源在于问题本身不同方向的尺度差异。同一思想延伸到深度学习中的Hessian条件数:当不同方向的曲率相差悬殊时,步长必须在快曲率方向不过冲与慢曲率方向有进展之间两难,梯度下降因而表现很差。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 数值计算 · 查看原书依据

      当该数很大时,矩阵求逆对输入的误差特别敏感。 这种敏感性是矩阵本身的固有特性,而不是矩阵求逆期间舍入误差的结果。即使我们乘以完全正确的矩阵逆,病态条件的矩阵也会放大预先存在的误差。

    参考来源

    - 位置:《深度学习》第4章 数值计算(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html) - 结论依据:原文明确指出敏感性是矩阵固有特性而非求逆舍入误差的结果,并用最大与最小特征值模之比定义条件数,支撑了误差被放大且无法靠精确求逆消除的结论。 - 原始内容:当该数很大时,矩阵求逆对输入的误差特别敏感。 这种敏感性是矩阵本身的固有特性,而不是矩阵求逆期间舍入误差的结果。即使我们乘以完全正确的矩阵逆,病态条件的矩阵也会放大预先存在的误差。