知识卡片

普通读书笔记卡 · 9888.i · 生成模型:Hunyuan

稀疏表示与激活稀疏

理解等级:中级

权重衰减直接惩罚参数,而稀疏表示转而惩罚隐藏单元的激活,间接对参数施加复杂惩罚。参数稀疏指许多参数为零;表示稀疏指表示向量中许多元素为零或接近零,二者不同——线性回归既可以参数稀疏,也可以让输入具有稀疏表示。实现上,对表示元素加L1惩罚会诱导稀疏表示,类似对参数加L1;也可用Student-t先验导出的惩罚或KL散度惩罚。还有硬性约束方法,如正交匹配追踪OMP-k限制表示中非零项个数,当权重矩阵正交时可高效求解,OMP-1能成为深度架构的有效特征提取器。含隐藏单元的模型本质上都能变得稀疏。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文区分参数稀疏与表示稀疏,并给出L1、Student-t、KL散度及OMP等稀疏化机制。 - 原始内容:前文所述的权重衰减直接惩罚模型参数。另一种策略是惩罚神经网络中的激活单元,稀疏化激活单元。这种策略间接地对模型参数施加了复杂惩罚。