← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9877.f.1.f.3 · 生成模型:GPT-6

稀疏多类训练分两步

理解等级:中级

FSMLR 用 W=Z 让 W 承担多类别负对数似然,Z 承担 L1 正则。W 步求平滑优化,Z 步逐坐标做软阈值,乘子追踪两个参数副本的偏差。原始残差看 W 和 Z 是否一致,对偶残差看相邻更新是否稳定,二者都要过门槛。

相关机制见 [[软阈值分离稀疏更新]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《分布式机器学习:交替方向乘子法在机器学习中的应用》第9章《快速稀疏多元逻辑回归》9.1.2 快速稀疏多元逻辑回归算法(来源项目 book-source,源文件:extracted/分布式机器学习:交替方向乘子法在机器学习中的应用/_epub-src/OEBPS/Text/chapter9.xhtml) - 结论依据:9.1.2 快速稀疏多元逻辑回归算法中的定义、更新式或实验叙述提供本卡依据。FSMLR 用 W=Z 让 W 承担多类别负对数似然,Z 承担 L1 正则。 - 原始内容:对于FSMLR算法的收敛判定条件,仍采用原始残差与对偶残差,当原始残差和对偶残差足够小时,迭代终止。