知识卡片
局部响应规范化比较邻近通道
局部响应规范化(LRN)在每个空间位置,将某通道的激活值除以由相邻通道激活平方和构成的缩放项,例如 bᵢ=aᵢ/(k+αΣⱼaⱼ²)^β。较强的邻近响应会增大分母,产生通道间的相对抑制;输出形状不变。k、α、β 和邻域宽度是超参数。它与利用批均值和方差的批规范化不同,效果和计算成本须按任务评估,不能断言普遍提升表现,也不应把它视为必然将任意输入限制在固定范围内。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 纸上谈兵终觉浅,绝知卷积要编程 13.5.2 局部响应规范化 · 查看原书依据
N为该层中所有卷积核的总数量,n为在同一位置上邻近的核谱(kernel maps)数量。
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第13章《纸上谈兵终觉浅,绝知卷积要编程》,13.5.2 局部响应规范化(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter18_0005.xhtml#txt013_14)
- 结论依据:原文公式 13-1、参数解释及示例。
- 原始内容:N为该层中所有卷积核的总数量,n为在同一位置上邻近的核谱(kernel maps)数量。