← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9883.a · 生成模型:Hunyuan

范数与稀疏权衡

理解等级:中级

范数是把向量映射到非负数的函数,用来衡量从原点到该点的距离,需满足非负性、齐次性与三角不等式。L2 欧几里得范数最为常用,实践中更常取其平方,因为平方 L2 范数对每个元素的导数只依赖该元素本身,计算与数学处理都更方便;缺点是它在原点附近增长极慢,难以区分零与很小的值。L1 范数在各处斜率相同,当零和非零元素的差别很关键时更受青睐,常被当作非零元素个数(所谓 L0 范数)的替代,因为后者并不满足齐次性、严格说不是范数。矩阵的大小则由 Frobenius 范数衡量,它相当于矩阵元素的 L2 范数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 线性代数 · 查看原书依据

      平方L 2 范数在数学和计算上都比L 2 范数本身更方便。例如,平方L 2 范数对 x 中每个元素的导数只取决于对应的元素,而L 2 范数对每个元素的导数和整个向量相关。但是在很多情况下,平方L 2 范数也可能不受欢迎,因为它在原点附近增长得十分缓慢。

    参考来源

    - 位置:《深度学习》第2章 线性代数(源文件:extracted/深度学习/_epub-src/text/part0000_split_001.html) - 结论依据:原文对比了平方 L2 范数与 L2 范数在求导上的差异,并指出平方 L2 范数在原点附近增长缓慢这一缺点,从而引出 L1 范数。 - 原始内容:平方L 2 范数在数学和计算上都比L 2 范数本身更方便。例如,平方L 2 范数对 x 中每个元素的导数只取决于对应的元素,而L 2 范数对每个元素的导数和整个向量相关。但是在很多情况下,平方L 2 范数也可能不受欢迎,因为它在原点附近增长得十分缓慢。