知识卡片
范数与稀疏权衡
范数是把向量映射到非负数的函数,用来衡量从原点到该点的距离,需满足非负性、齐次性与三角不等式。L2 欧几里得范数最为常用,实践中更常取其平方,因为平方 L2 范数对每个元素的导数只依赖该元素本身,计算与数学处理都更方便;缺点是它在原点附近增长极慢,难以区分零与很小的值。L1 范数在各处斜率相同,当零和非零元素的差别很关键时更受青睐,常被当作非零元素个数(所谓 L0 范数)的替代,因为后者并不满足齐次性、严格说不是范数。矩阵的大小则由 Frobenius 范数衡量,它相当于矩阵元素的 L2 范数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第2章 线性代数
原书出处 · 1 处
- 第2章 线性代数 · 查看原书依据
平方L 2 范数在数学和计算上都比L 2 范数本身更方便。例如,平方L 2 范数对 x 中每个元素的导数只取决于对应的元素,而L 2 范数对每个元素的导数和整个向量相关。但是在很多情况下,平方L 2 范数也可能不受欢迎,因为它在原点附近增长得十分缓慢。
参考来源
- 位置:《深度学习》第2章 线性代数(源文件:extracted/深度学习/_epub-src/text/part0000_split_001.html)
- 结论依据:原文对比了平方 L2 范数与 L2 范数在求导上的差异,并指出平方 L2 范数在原点附近增长缓慢这一缺点,从而引出 L1 范数。
- 原始内容:平方L 2 范数在数学和计算上都比L 2 范数本身更方便。例如,平方L 2 范数对 x 中每个元素的导数只取决于对应的元素,而L 2 范数对每个元素的导数和整个向量相关。但是在很多情况下,平方L 2 范数也可能不受欢迎,因为它在原点附近增长得十分缓慢。