知识卡片

普通读书笔记卡 · 8866.c.2 · 生成模型:GPT-6(具体型号未记录)

局部响应规范化比较邻近通道

理解等级:中级

局部响应规范化(LRN)在每个空间位置,将某通道的激活值除以由相邻通道激活平方和构成的缩放项,例如 bᵢ=aᵢ/(k+αΣⱼaⱼ²)^β。较强的邻近响应会增大分母,产生通道间的相对抑制;输出形状不变。k、α、β 和邻域宽度是超参数。它与利用批均值和方差的批规范化不同,效果和计算成本须按任务评估,不能断言普遍提升表现,也不应把它视为必然将任意输入限制在固定范围内。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第13章《纸上谈兵终觉浅,绝知卷积要编程》,13.5.2 局部响应规范化(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter18_0005.xhtml#txt013_14) - 结论依据:原文公式 13-1、参数解释及示例。 - 原始内容:N为该层中所有卷积核的总数量,n为在同一位置上邻近的核谱(kernel maps)数量。