知识卡片
CoCoA的局部Lasso
平方误差在 CoCoA 局部近似中给出二次项,L1 保留在更新后的参数 αᵢ+Δαᵢ 上。变量平移后得到 Lasso 形式,可借用 ADMM 的线性系统加软阈值。外层聚合各块对预测的增量,内层只处理局部优化,内层迭代不要求跨机同步。
相关机制见 [[CoCoA用本地计算换通信]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- CoCoA框架下的Lasso回归分布式求解 10.2 CoCoA框架下求解Lasso回归 · 查看原书依据
可以看出这仍是一个典型的Lasso问题,运用ADMM可以进行求解。
参考来源
- 位置:《分布式机器学习:交替方向乘子法在机器学习中的应用》第10章《CoCoA框架下的Lasso回归分布式求解》10.2 CoCoA框架下求解Lasso回归(来源项目 book-source,源文件:extracted/分布式机器学习:交替方向乘子法在机器学习中的应用/_epub-src/OEBPS/Text/chapter10.xhtml)
- 结论依据:10.2 CoCoA框架下求解Lasso回归中的定义、更新式或实验叙述提供本卡依据。平方误差在 CoCoA 局部近似中给出二次项,L1 保留在更新后的参数 αᵢ+Δαᵢ 上。
- 原始内容:可以看出这仍是一个典型的Lasso问题,运用ADMM可以进行求解。