来源书籍

分布式机器学习:交替方向乘子法在机器学习中的应用

Skill 版本:v24 47 张卡片

雷大江 · 清华大学出版社 · 2021-05 · 第1版 · ISBN 978-7-302-56902-2

全书导读

把模型和求解器分开看。Lasso、Huber 和多类逻辑回归决定要拟合什么以及对误差、系数怎样加罚,ADMM 决定如何把一个带耦合约束的目标拆成容易求解的块。CoCoA 再决定每轮通信前,各节点可以在自己的块上计算多深。

全书主线

先在第 2–4 章追踪一次完整迭代:写出一致性等式,固定一块更新另一块,用残差反馈修正乘子。再看第 5–8 章如何选择要分离的结构,依次是离散梯度、加权残差及类参数。第 9–11 章回到分布式视角,比较按样本共享参数、按特征共享预测以及局部多迭代三种设计线索。

前言

前言交代写作缘由和 11 章路线。作者想把分散在凸优化教材与研究论文里的方法放在同一本应用型专著中。先建立凸优化和对偶的语言,再让同一个分解框架处理回归、图像和分类。后两章回到通信问题,考察一种允许节点多做局部计算的框架。前言只预告各章结论,详细概念在各章保留。

第1章 引言

大数据的规模、速度和类型变化会同时施压存储、处理和数据搬运。分布式训练要先决定要拆数据还是模型,再决定协调状态。分布式随机梯度下降让节点一起估计梯度,ADMM 将有耦合约束的大问题拆为子问题,让节点求各自局部解后协调。同步执行便于对齐轮次,异步执行减少等待但要处理滞后。全书据此安排从求解结构到应用模型、再到通信效率的研究路线。书首互联网数据和软件生态仅作成书背景。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 4 处

第2章 交替方向乘子法

可行域凸意味着两可行点之间可沿线段移动,目标也凸时局部最小即全局最小。拉格朗日乘子将约束放入目标,对原变量取下确界得到最优值下界,再最大化下界就是对偶问题。上下界吻合且能取到时,鞍点把原变量的极小和乘子的极大连起来。凸共轭是重写线性约束对偶的工具,后面 CoCoA 也用得到。对偶上升固定乘子求原变量,再按约束残差更新乘子。增广拉格朗日给残差加平方代价,可能使原来可分的变量因交叉项耦合。ADMM 固定另一个块交替最小化,再用约束残差更新乘子。对局部模型施加一致性等式,可以并行处理局部块并把全局正则放在中心更新。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 8 处

第3章 稀疏回归

Lasso 惩罚系数的绝对值之和,会把某些小系数压到零。令拟合系数与正则系数互为副本并约束一致,平方损失变成线性方程,L1 变成逐元素软阈值。若按行切矩阵,各节点独立计算本地拟合并汇总完整系数,中心处理全局稀疏性。按列切矩阵则只在各自列块内维护系数,所有局部预测都要加成完整预测后计算共同误差。两种方案的交换对象分别近似由特征数和样本数决定。式中若均值和阈值归一容易混淆,可直接由全局二次子问题配方核算。

原书第 3.4.1 节的 z 更新图片与紧邻二次目标的归一不一致。按该目标配方得 S_{λ/(Nρ)}(平均(xᵢ+uᵢ))。第 3.4.2 节的排版目标把各块分别与完整 b 比较,这与纵向分片的整体 Lasso 一般不等价。笔记按第 4.3.1 节的共享结构写作,即先加总各块预测,再对照 b。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 4 处

第4章 Huber回归

分类可转化为比较每类字典重构查询样本的损失。稀疏项约束参与重构的训练样本数量倾向,保真项决定不同大小的拟合误差如何受罚。Huber 在阈值内按平方增长,在阈值外按线性增长,让大误差不会以平方速度主导结果。将编码系数的副本与线性预测残差分别显式化,能独立处理软阈值和 Huber 分段子问题。行分片可在本地直接算 Huber 损失,列分片必须先共享预测贡献。

若给定输入 a=Ax−b+u,Huber 的残差近端在 |a|≤η(1+1/ρ) 时取 ρa/(1+ρ),其余取 a−sign(a)η/ρ。这个阈值来自把输出 z 与 η 比较再换算为输入范围。第 4.3.1 节图片的正向分段少了收缩项,笔记依据第 4.2 节的近端目标推导。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 5 处

第5章 交替方向乘子法在图像处理中的应用

去模糊把观测写成空间不变卷积加噪声。若只最小化拟合误差,逆卷积可能放大退化过程中难以观察的频率成分。全变差是图像离散梯度大小的总和,会抑制分散的小梯度并允许少量显著边界。把梯度拆成辅助变量后做逐像素收缩,卷积与差分组成的线性系统在周期边界下可用 FFT 加速。遥感全锐化把高分辨率全色图的结构和低分辨率多光谱图的波段颜色融合。联合水平、垂直差分提取结构,模糊退化模型控制光谱一致。WorldView-3 实验结合局部目视、SAM/ERGAS、SCC 和 Qn 考察权衡。单组传感器实验的指标不能外推到任意波段权重或退化核。

表 5.1 的本书方法 SAM 为 7.3570、ERGAS 为 6.2200、Q 指标为 0.8053、SCC 为 0.8404。K 与差分算子的线性求解依赖实际边界设置。若复现第 5.1 节,乘子应追踪梯度与辅助变量的偏差,由等式约束重新推导更新。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 3 处

第6章 加权Huber约束稀疏表达的鲁棒性算法

对遮挡图像,真实的类别仍可能只靠一部分像素辨认。WHCSC 按当前类别字典的拟合残差给像素赋 Sigmoid 权重,先以类别均值构造初始残差,之后编码与权重交替。固定权重时 ADMM 分离系数、Huber 残差和稀疏副本。逐类拟合减少别类样本干扰,权重幂指数又控制低权重像素的影响。实验比较光照、样本量、PCA、随机腐蚀、块遮挡和真实伪装,并通过重构检查是否误伤边缘。优势多出现在较强干扰,弱遮挡或部分低维条件有例外。固定权重子问题的收敛分析,与整个动态重加权流程的收敛,应分别理解。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 4 处

第7章 自适应加权的Huber约束稀疏表达的鲁棒性算法

AWHCSC 仍用 Huber 拟合和 L1 约束编码,但将权重作为待求变量。非负归一化权重提供固定总量,权重平方罚阻止把份额全给一个像素。固定编码时用 KKT 条件和残差排序更新权重,可用预期零权重坐标数控制噪声区域的抑制程度。固定权重后再次以 ADMM 编码,直到相邻编码变化够小,以逐类的加权残差判定类别。权重路径、相关性和类内外残差比用于解释分类结果。强污染的实验报告更高准确率,同时运行耗时增加。弱遮挡和降维后的优势有限,预估去除数量过大也会削弱辨别信息。

固定残差 r 时,可将权重目标理解为 ΣᵢwᵢHη(rᵢ)+γΣᵢwᵢ²。KKT 给出 wᵢ=max(κ−Hη(rᵢ)/(2γ),0),κ 由权重总和等于 1 确定。当残差分值在截断边界有并列时,恰好截断指定数量未必可行。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 3 处

第8章 极大不相关多元逻辑回归

多元逻辑回归用一个 Softmax 把所有类别得分转成总和为一的概率。若不同类别共享大量冗余特征,单改系数稀疏性未必能减少特定类对的混淆。书中先提出类别系数内积的平方惩罚,再用柯西不等式的范数乘积上界替代,得到可求梯度的目标。上界随各类参数长度变化,对方向本身没有直接辨别力,所以不能把它当作精确的正交约束。人工相关数据、公开数据与数字 1⁄7 的混淆是实验证据。该思路也迁移到全连接网络。分布式版本按行同步完整参数,或按列协调局部打分,两者都受并行度、内存和同步开销制约。

式 (8.13) 对各特征块分别施加范数乘积,其和通常漏掉不同特征块之间的交叉项,不能直接视为串行正则的等价改写。表 8.5 的 1⁄7 误分率分别为 WDMLR 0.90%、SMLR 0.83%、MUMLR 0.32%,只说明该实验中的变化。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 4 处

第9章 快速稀疏多元逻辑回归

IRLS 用反复更新的局部代理处理稀疏先验,但联合求解规模随特征数和类别数增大。FSMLR 用 ADMM 将多类似然与 L1 正则拆开,平滑子问题可用迭代优化,正则子问题是软阈值。按样本分时汇总全局系数,按特征分时汇总局部得分,并通过均值缩减共享子问题。原始残差与对偶残差都用于停止判据。稀疏格式可以降低输入存储和乘法成本,参数矩阵仍可保持密集。Spark 实验报告准确率、运行时间和加速比。部分特征分区以最小能运行的分区作基线。与 MLlib 的 L2 模型相比,目标函数也不同,时间和准确率差异不能完全归因于求解器。

书中式 (9.18) 的约束是 Wᵢ=Z,因此实现应以 Wᵢ−Z 检查原始可行性。式 (9.24) 用局部参数均值构造残差,均值相符不足以检查正则化后的全局变量。用式 (9.25) 复现列块求解时,乘子残差也须保留 XᵢWᵢ−Zᵢ。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 6 处

第10章 CoCoA框架下的Lasso回归分布式求解

CoCoA 分离外层通信和节点内计算。光滑目标通过共享预测 v=Aα 耦合,局部节点用当前梯度、一项二次曲率界及可分正则求坐标增量。节点可以在一次通信前多迭代几步,中心合并预测增量。原始形式按特征分,样本布局则检查相应对偶形式及其光滑性与可分性。Lasso 的节点子问题可配方为带 L1 的二次目标,在节点内使用 ADMM。这时 ADMM 是内层求解器,CoCoA 决定外层何时聚合。Online News Popularity 实验报告五折均方误差和迭代时间,计时不含读盘,机器和实现差别也影响结果。

表 10.4 中 CoCoA 的迭代时间 5.729 秒,串行为 12.858 秒,集群 MLlib 为 7.062 秒。对应 MSE 为 0.0171、0.0152、0.0158。若直接实现式 (10.6) 的局部副本 z,近端输入须保留旧系数偏移,更新为 S_{λ/ρ}(αᵢ+Δαᵢ+u)−αᵢ。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 4 处

第11章 CoCoA框架下的稀疏多元逻辑回归分布式求解

将第 10 章的平方损失换成多类交叉熵,公共预测从一个向量变成样本对类别的得分矩阵。损失对各得分的梯度是预测概率减真实标签的独热编码,外层在新得分上刷新梯度。CoCoA 局部二次近似加坐标可分 L1 仍可写成局部 Lasso 式问题,用 ADMM 解。书中在 MNIST 比较串行 ADMM、按特征分的 FP-SMLR 和 CoCoA SMLR,报告准确率与迭代耗时。固定轮数与单组机器的结果适合作为复现起点,通信轮数、传输量与同一目标差距下的总时间仍需单独测量。

表 11.2 的串行 ADMM、FP-SMLR、CoCoA 分别为 197.25、184.46、167.28 秒,分类准确率分别为 0.867、0.869、0.872。计时只覆盖迭代部分。第 11 章的梯度应按每个样本每类计算,不在单条样本坐标的导数中再次对全体样本求和。

本章卡片可用于逐项查看机制及原书出处。

原书依据 · 2 处

跨章综合

同一数学分解可以跨任务复用。系数复制让平方损失、Softmax 损失和 L1 正则各自求解。图像梯度复制让不可微的边缘先验和卷积逆问题各自处理。分布式时,行分片的损失按样本相加,可协调模型副本。列分片的模型先产生局部预测,必须聚合再算损失。CoCoA 可以在节点内继续用 ADMM,但外层每次共享的是预测增量。

对照实验时分开问模型和算法两件事。换正则项可能改变泛化和特征选择,换求解器主要改变达到给定目标差距的成本。若同时换了硬件、分区和模型,书中时间数字只能说明该配置下的端到端表现。

发散与实践

读者延伸。先按矩阵形状估算分片通信量,再用合成 Lasso 检查局部计算预算与同步的代价。已写成计划,尚未执行完整实践。

  • 核对两种分片的通信量(文件链接见概览)
  • 比较局部求解预算(文件链接见概览)
生成进度与管理记录

《分布式机器学习:交替方向乘子法在机器学习中的应用》读书概览

  • 作者:雷大江
  • 出版:清华大学出版社,2021年5月第1版
  • 信息浓度:高,凸优化、对偶与分片推导解释次序、可分性和通信约束,应用章给出对照实验。
  • 稳定性:高,变量拆分、Huber保真、局部优化与聚合机制可复用,历史Spark环境及实验耗时按原条件理解。
  • 评级:经典原理(高浓度、高稳定性),AI专项,P4。
  • Skill 版本:v24
  • 执行模式:light
  • 建档进度:done

整书笔记 · 阅读覆盖 · 工作流交接

轻量模式下未执行生成后笔记复核、独立审查及审查结果优化。

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 0
01 引言 done 4
02 交替方向乘子法 done 8
03 稀疏回归 done 4
04 Huber回归 done 5
05 交替方向乘子法在图像处理中的应用 done 3
06 加权Huber约束稀疏表达的鲁棒性算法 done 4
07 自适应加权的Huber约束稀疏表达的鲁棒性算法 done 3
08 极大不相关多元逻辑回归 done 4
09 快速稀疏多元逻辑回归 done 6
10 CoCoA框架下的Lasso回归分布式求解 done 4
11 CoCoA框架下的稀疏多元逻辑回归分布式求解 done 2

非正文排除

spine项 类型 排除理由
1 titlepage.xhtml 生成封面 仅嵌入封面图像
2 OEBPS/Text/cover.xhtml 封面 封面和阅读宣传语
3 OEBPS/Text/titlepage1.xhtml 题名页 书名和出版标识图像
4 OEBPS/Text/copyright.xhtml 版权页 CIP、版本和发行信息用于书目核对
5 OEBPS/Text/preface1.xhtml 内容提要 提纲式宣传摘要,技术主张在前言和正文展开
6 OEBPS/Text/preface2.xhtml 作者简介 履历介绍
7 OEBPS/Text/preface3.xhtml 资助说明 中英文资助声明

待关联术语

术语名 出现章节 一句话语境
Lassplore 01 分布式稀疏逻辑回归相关工作
GROCK 01 稀疏问题的并行贪婪块坐标求解
Angel 01 参数服务器平台举例
Twister 09 可替代的分发与聚合框架
LIBSVM 格式 09 稀疏数据的输入格式
ATWT-M3 05 全锐化基线方法
IHS 05 成分替换对照
GSA 05 融合对照
NMR 06、07 遮挡分类对照
IRGSC 06、07 特征与距离权重基线
FASTA 09 串行优化实验比较项

引用文献

标题 类型 出现章节 一句话语境
01[1] Zikopoulos P, Eaton C. Understanding Big Data: Analytics for Enterprise Class Hadoop and Streaming Data [M]. McGraw-Hill Osborne Media, 1989. 书 01 章末书目定位
01[2] Andrew M A, Erik B. Big data: the management revolution [J]. Harvard business review, 2012, 90 (10): 60-66. 论文 01 章末书目定位
01[3] De Mauro A, Greco M, Grimaldi M. A formal definition of Big Data based on its essential features [J]. Library Review, 2016, 65 (3): 122-135. 论文 01 章末书目定位
01[4] Dean J, Ghemawat S. MapReduce: simplified data processing on large clusters [J]. Communications of the ACM, 2008, 51 (1): 107-113. 论文 01 章末书目定位
01[5] Zaharia M, Chowdhury M, Franklin M J, et al. Spark: cluster computing with working sets [C]//Proceedings of the 2nd USENIX Workshop on Hot Topics in Cloud Computing, Boston, MA, United States: USENIX Association, 2010: 10-10. 论文 01 章末书目定位
01[6] D’Costa A, Sayeed A M. Collaborative signal processing for distributed classification in sensor networks [C]//International Coference on Information Processing in Sensor Networks. Springer-Verlag, 2003: 193-208. 论文 01 章末书目定位
01[7] Kokiopoulou E, Frossard P. Distributed classification of multiple observation sets by consensus [J]. IEEE Transactions on Signal Processing, 2011, 59 (1): 104-114. 论文 01 章末书目定位
01[8] Guyon I, Elisseeff A. An introduction to variable and feature selection [J]. Journal of Machine Learning Research, 2003, 3 (3): 1157-1182. 论文 01 章末书目定位
01[9] Liu D, Wang D, Li H. Decentralized stabilization for a class of continuous-time nonlinear interconnected systems using online learning optimal control approach [J]. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25 (2): 418-428. 论文 01 章末书目定位
01[10] Lv T, Deng S, Hu Y, et al. Quantitative prediction of precipitation in the east of northwest china during the flood period by using the year-to-year increment approach [J]. Journal of Arid Meteorology, 2015, 33 (3): 386-394. 论文 01 章末书目定位
01[11] LeCun Y, Bottou L, Orr G B. Neural Networks: Tricks of the Trade [J]. Canadian Journal of Anaesthesia, 2012, 41 (7): 658. 论文 01 章末书目定位
01[12] Li F, Wu B, Xu L, et al. A fast distributed stochastic gradient descent algorithm for matrix factorization [C]//Proceedings of 3rd International Workshop on Big Data, Streams and Heterogeneous Source Mining, PMLR, 2014: 77-87. 论文 01 章末书目定位
01[13] De S, Goldstein T. Efficient distributed SGD with variance reduction [C]//IEEE International Conference on Data Mining. New York, NY, USA: IEEE, 2016: 111-120. 论文 01 章末书目定位
01[14] Martin A Z, Markus W, Alexander S, et al. Parallelized Stochastic Gradient Descent [C]//Advances in Neural Information Processing Systems 23: Conference on Neural Information Processing Systems A Meeting Held December. DBLP, 2010: 2595-2603. 论文 01 章末书目定位
01[15] Meng Q, Chen W, Yu J, et al. Asynchronous Accelerated Stochastic Gradient Descent [C]//IJCAI2016.2016: 1853-1859. 论文 01 章末书目定位
01[16] Lee J, Ma T Y, Lin Q H. Distributed Stochastic Variance Reduced Gradient Methods [J]. [EB/OL]. (2016-01-06) [2020-05-19]. https://arXiv.org/abs/1507.07595. 论文 01 章末书目定位
01[17] De S, Goldstein T. Efficient Distributed SGD with Variance Reduction [C]//IEEE International Conference on Data Mining. IEEE, 2016: 111-120. 论文 01 章末书目定位
01[18] Zhang Y, Jordan M I. Splash: User-friendly Programming Interface for Parallelizing Stochastic Algorithms [EB/OL]. (2015-06-24) [2020-05-19]. https://arXiv.org/abs/1506.07552. 论文 01 章末书目定位
01[19] Borges J S, Bioucas-Dias J M, Marçal A R S. Fast Sparse Multinomial Regression Applied to Hyperspectral Data [C]//Proceedings of the 3rd International Conference on Image Analysis and Recognition. Povoa de Varzim, Portugal: Springer Berlin Heidelberg, 2006: 700-709. 论文 01 章末书目定位
01[20] Kim S J, Koh K, Lustig M, et al. An Interior-Point Method for Large-Scale l1-Regularized Least Squares [J]. IEEE Journal of Selected Topics in Signal Processing, 2007, 1 (4): 606-617. 论文 01 章末书目定位
01[21] Koh K, Kim S J, Boyd S. A method for large-scale l1-regularized logistic regression [C]//Proceedings of the 22nd National Conference on Artificial Intelligence. Vancouver, British Columbia, Canada: AAAI Press, 2007: 565-571. 论文 01 章末书目定位
01[22] Liu J, Chen J, Ye J. Large-scale sparse logistic regression [C]//Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD’09. Paris, France: Association for Computing Machinery (ACM) , 2009: 547-555. 论文 01 章末书目定位
01[23] Peng Z, Yan M, Yin W. Parallel and distributed sparse optimization [C]//Proceedings of the 2013 47th Asilomar Conference on Signals, Systems and Computers. Pacific Grove, CA, United States: IEEE Computer Society, 2013: 659-664. 论文 01 章末书目定位
01[24] Gopal S, Yang Y. Distributed training of large-scale logistic models [C]//Proceedings of the 30th International Conference on Machine Learning. Atlanta, GA, United States: International Machine Learning Society (IMLS) , 2013: 948-956. 论文 01 章末书目定位
01[25] Raman P, Srinivasan S, Matsushima S, et al. DS-MLR: Exploiting double separability for scaling up distributed multinomial logistic regression [EB/OL]. (2016-04-16) [2020-05-19]. https://arXiv.org/abs/1604.04706. 论文 01 章末书目定位
01[26] Meng X, Bradley J, Yavuz B, et al. Mllib: Machine learning in apache spark [J]. The Journal of Machine Learning Research, 2016, 17 (1): 1235-1241. 论文 01 章末书目定位
01[27] Jiang J, Yu L, Jiang J, et al. Angel: a new large-scale machine learning system [J]. National Science Review, 2017, 5 (2): 216-236. 论文 01 章末书目定位
01[28] Gabay D, Mercier B. A dual algorithm for the solution of non linear variational problems via finite element approximation [M]. Great Britain: Institut de recherche d’informatique et d’automatique, 1975: 17-40. 书 01 章末书目定位
01[29] Chang T H, Hong M, Liao W C, et al. Asynchronous distributed ADMM for large-scale optimization—PartⅠ: Algorithm and convergence analysis [J]. IEEE Transactions on Signal Processing, 2016, 64 (12): 3118-3130. 论文 01 章末书目定位
01[30] Zhang R, Kwok J. Asynchronous distributed ADMM for consensus optimization [C]//In Proceedings of the 31st International Conference on Machine Learning. Great Britain: International Conference on Machine Learning, 2014: 1701-1709. 论文 01 章末书目定位
01[31] Bertsekas D P. Constrained optimization and Lagrange multiplier methods [M]. New York, USA: Academic Press, 2014: 24-28. 书 01 章末书目定位
01[32] Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers [J]. Foundations & Trends in Machine Learning, 2010, 3 (1): 1-122. 论文 01 章末书目定位
01[33] Wei E, Ozdaglar A. Distributed alternating direction method of multipliers [C]//2012 IEEE 51st IEEE Conference on Decision and Control (CDC) . IEEE, 2013. 论文 01 章末书目定位
01[34] Wahlberg B, Boyd S, Annergren M, et al. An ADMM algorithm for a class of total variation regularized estimation problems [J]. The International Federation of Automatic Control, 2012, 45 (16): 83-88. 论文 01 章末书目定位
01[35] Nedic A, Ozdaglar A. On the rate of convergence of distributed subgradient methods for multi-agent optimization [C]//Decision and Control, 2007 46th IEEE Conference on IEEE, 2008. 论文 01 章末书目定位
01[36] Nedic A, Ozdaglar A, Parrilo P A. Constrained Consensus and Optimization in Multi-Agent Networks [J]. IEEE Transactions on Automatic Control, 2010, 55 (4): 922-38. 论文 01 章末书目定位
01[37] Schizas I D, Mateos G, Giannakis G B. Distributed LMS for Consensus-Based In-Network Adaptive Processing [J]. IEEE Transactions on Signal Processing, 2009, 57 (6): 2365-82. 论文 01 章末书目定位
01[38] Fukushima M. Application of the alternating direction of multipliers to separable convex programming problems [J]. Computational Optimization & Applications, 1992, 1 (1): 93-111. 论文 01 章末书目定位
01[39] 亢良伊,王建飞,刘杰,等.可扩展机器学习的并行与分布式优化算法综述[J].软件学报,2018,29(1):109-130. 论文 01 章末书目定位
01[40] Taylor G, Burmeister R, Xu Z, et al. Training Neural Networks Without Gradients: A Scalable ADMM Approach [J]. The Journal of Machine Learning Research, 2016 (48): 2722-2731. 论文 01 章末书目定位
01[41] Zhang R, Kwok J T. Asynchronous distributed ADMM for consensus optimization [C]//Proceedings of the 31st International Conference on International Conference on Machine Learning. Beijing, 2014: 1701-1709. 论文 01 章末书目定位
01[42] Qing L, Gang W, Yuan K, et al. On the Linear Convergence of the ADMM in Decentralized Consensus Optimization [J]. IEEE Transactions on Signal Processing a Publication of the IEEE Signal Processing Society, 2014. 论文 01 章末书目定位
01[43] Bradley J K, Kyrola A, Bickson D, et al. Parallel coordinate descent for L1-regularized loss minimization [EB/OL]. (2011-05-20) [2020-05-19]. https://arXiv.org/abs/1105.5379. 论文 01 章末书目定位
01[44] Wei E, Asuman O. On the O (1/k) convergence of asynchronous distributed alternating direction method of multipliers [C]//2013 IEEE Global Conference on Signal and Information Processing. Austin TX, 2013: 551-554. 论文 01 章末书目定位
01[45] Smith V, Forte S, Ma C, et al. CoCoA: A general framework for communication-efficient distributed optimization [J]. The Journal of Machine Learning Research, 2017, 18 (1): 8590-8638. 论文 01 章末书目定位
01[46] Abadi M, Barham P, Chen J, et al. TensorFlow: A system for large-scale machine learning [C]//Proceedings of the 12th USENIX conference on Operating Systems Design and Implementation. Savannah, GA, United States: USENIX Association, 2016: 265-283. 论文 01 章末书目定位
01[47] Jia Y, Shelhamer E, Donahue J, et al. Caffe: Convolutional architecture for fast feature embedding [C]//Proceedings of the 2014 ACM Conference on Multimedia, MM 2014. Orlando, FL, United States: Association for Computing Machinery (ACM) , 2014: 675-678. 论文 01 章末书目定位
02[1] Boyd s, Vandenberghe L. Convex Optimization [M]. Cambridge, UK: Cambridge University Press, 2004. 书 02 章末书目定位
02[2] Boyd S, Parikh N, Chu E, et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers [J]. Foundations & Trends in Machine Learning, 2010, 3 (1): 1-122. 论文 02 章末书目定位
02[3] He, B S, Yuan, X M. On the Convergence Rate of the Douglas-Rachford Alternating Direction Method [J]. Siam Journal on Numerical Analysis, 2012, 50 (2): 700-709. 论文 02 章末书目定位
02[4] He, B S, Yuan, X M. On non-ergodic convergence rate of Douglas-Rachford alternating direction method of multipliers [J]. Numerische Mathematik, 2014, 130 (3): 567-577. 论文 02 章末书目定位
03[1] Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers [J]. Foundations and Trends in Machine learning, 2011, 3 (1): 1-122. 论文 03 章末书目定位
03[2] Ramdas A, Tibshirani R J. Fast and flexible admm algorithms for trend filtering [J]. Journal of Computational and Graphical Statistics, 2016, 25 (3): 839-858. 论文 03 章末书目定位
03[3] Zhang Z, Xu Y, Yang J, et al. A survey of sparse representation: algorithms and applications [J]. IEEE Access, 2015, 3: 490-530. 论文 03 章末书目定位
03[4] 刘建伟,崔立鹏,刘泽宇,等.正则化稀疏模型[J].计算机学报,2015,38(7):1307-1325. 论文 03 章末书目定位
03[5] 周雁舟,乔辉,吴晓萍,等.基于LASSO-LARS的软件复杂性度量属性特征选择研究[J].计算机科学,2013,40(11):169-173. 论文 03 章末书目定位
03[6] Tibshirani R. Regression shrinkage and selection via the lasso [J]. Journal of the Royal Statistical Society: Series B (Methodological) , 1996, 58 (1): 267-288. 论文 03 章末书目定位
04[1] 余家林,孙季丰,李万益.基于多核稀疏编码的三维人体姿态估计[J].电子学报,2016,44(8):1899-1908. 论文 04 章末书目定位
04[2] 王宪保,章国琼,姚明海.稀疏编码改进方法及其在缺陷检测中的应用研究[J].小型微型计算机系统,2017,38(1):165-168. 论文 04 章末书目定位
04[3] 赵玉兰,苑全德,孟祥萍.基于稀疏编码和机器学习的多姿态人脸识别算法[J].吉林大学学报(理学版),2018,40(2):340-346. 论文 04 章末书目定位
04[4] Yanan L, Fei W, Zhihua Z, et al. Sparse Representation Using Nonnegative Curds and Whey [C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2010: 3578-3585. 论文 04 章末书目定位
04[5] Shenghua G, Wai Hung T, Liang Tien C, et al. Local features are not lonely—Laplacian sparse coding for image classification [C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, California, USA: IEEE, 2010: 3555-3561. 论文 04 章末书目定位
04[6] Wang J, Yang J, Yu K, et al. Locality-constrained Linear Coding for image classification [C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, California, USA: IEEE, 2010: 3360-3367. 论文 04 章末书目定位
04[7] Ramírez I, Lecumberry F, Sapiro G. Universal priors for sparse modeling [C]//2009 3rd IEEE International Workshop on Computational Advances in Multi-Sensor Adaptive Processing. IEEE, 2009: 197-200. 论文 04 章末书目定位
05[1] 贺兴华.MATLAB 7.X图像处理[M].北京:人民邮电出版社,2006. 书 05 章末书目定位
05[2] 张峥嵘,孙玉宝,黄丽丽,等.全变差图像恢复的交替方向乘子法[J].计算机工程与应用2010,46(14):8-11. 论文 05 章末书目定位
05[3] Rudin L I, Osher S. Total variation based image restoration with free local constraints [C]//IEEE International Conference on Image Precessing. IEEE Xplore, 1994: 31-35. 论文 05 章末书目定位
05[4] Wang Y, Yang J, Yin W, et al. A New Alternating Minimization Algorithm for Total Variation Image Reconstruction [J]. SIAM Journal on Imaging Sciences, 2008, 1 (3): 248-272. 论文 05 章末书目定位
05[5] Rafael C. Gonzalez, Richard E. Woods. Digital Image Processing [J]. prentice hall international, 2008, 28 (4): 484-486. 论文 05 章末书目定位
05[6] Ng M K, Chan R H, Tang W C. A Fast Algorithm for Deblurring Models with Neumann Boundary Conditions [J]. Siam Journal on Scientific Computing, 1999, 21 (3): 851-866. 论文 05 章末书目定位
05[7] Thomas C, Ranchin T, Wald L, et al. Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics [J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46 (5): 1301-1312. 论文 05 章末书目定位
05[8] Liu Y, Liu S, Wang Z. A general framework for image fusion based on multi-scale transform and sparse representation [J]. Information Fusion, 2015, 24: 147-164. 论文 05 章末书目定位
05[9] Ji F, Li Z R, Chang X, et al. Remote Sensing Image Fusion Method Based on PCA and NSCT Transform [J]. Journal of Graphics, 2017, 38 (2): 247-252. 论文 05 章末书目定位
05[10] Choi M. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter [J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44 (6): 1672-1682. 论文 05 章末书目定位
05[11] Rahmani S, Strait M, Merkurjev D, et al. An Adaptive IHS Pan-Sharpening Method [J]. IEEE Geoscience and Remote Sensing Letters, 2010, 7 (4): 746-750. 论文 05 章末书目定位
05[12] Xu L, Zhang Y M, Gao Y N, et al. Using guided filtering to improve gram-schmidt based Pansharpening method for Geo Eye-1 satellite images [C]//International Conference on Information Systems and Computing Technology. Paris, France: Atlantis Press, 2016: 33-37. 论文 05 章末书目定位
05[13] Ranchin T, Wald L. Fusion of high spatial and spectral resolution images: The ARSIS concept and its implementation [J]. Photogrammetric Engineering & Remote Sensing, 2000, 66 (2): 49-61. 论文 05 章末书目定位
05[14] Otazu X, Gonzalez-Audicana M, Fors O, et al. Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods [J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43 (10): 2376-2385. 论文 05 章末书目定位
05[15] Aiazzi B, Alparone L, Baronti S, et al. MTF-tailored Multiscale Fusion of High-resolution MS and Pan Imagery [J]. Photogrammetric Engineering & Remote Sensing, 2006, 72 (5): 591-596. 论文 05 章末书目定位
05[16] Khan M M, Alparone L, Chanussot J. Pansharpening quality assessment using the modulation transfer functions of instruments [J]. IEEE transactions on geoscience and remote sensing, 2009, 47 (11): 3880-3891. 论文 05 章末书目定位
05[17] Ballester C, Caselles V, Igual L, et al. A variational model for P+XS image fusion [J]. International Journal of Computer Vision, 2006, 69 (1): 43-58. 论文 05 章末书目定位
05[18] Piella G. Image fusion for enhanced visualization: A variational approach [J]. International journal of computer vision, 2009, 83 (1): 1-11. 论文 05 章末书目定位
05[19] Aiazzi B, Alparone L, Baronti S, et al. MTF-tailored Multiscale Fusion of High-resolution MS and Pan Imagery [J]. Photogrammetric Engineering & Remote Sensing, 2006, 72 (5): 591-596. 论文 05 章末书目定位
05[20] Baronti S, Aiazzi B, Selva M, et al. A theoretical analysis of the effects of aliasing and misregistration on pansharpened imagery [J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5 (3): 446-453. 论文 05 章末书目定位
05[21] Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image [J]. Acm transactions on graphics (tog) , 2008, 27 (3): 1-10. 论文 05 章末书目定位
05[22] Zeng D L, Hu Y W, Huang Y, et al. Pan-sharpening with structural consistency and l1/2 gradient prior [J]. Remote Sensing Letters, 2016, 7 (12): 1170-1179. 论文 05 章末书目定位
05[23] Tao P D, An L T H. A DC optimization algorithm for solving the trust-region subproblem [J]. SIAM Journal on Optimization, 1998, 8 (2): 476-505. 论文 05 章末书目定位
06[1] Jianwei Z, Ping Y, Shengyong C, et al. Iterative Re-Constrained Group Sparse Face Recognition With Adaptive Weights Learning [J]. IEEE Transactions on Image Processing, 2017, 26 (5): 2408-2423. 论文 06 章末书目定位
06[2] Meng Y, Lei Z, Jian Y, et al. Robust sparse coding for face recognition [M]. Computer Vision and Pattern Recognition. Colorado Springs, CO, USA: IEEE, 2011: 625-632. 书 06 章末书目定位
06[3] Can Yi L, Hai M, Jie G, et al. Face recognition via Weighted Sparse Representation [J]. Journal of Visual Communication & Image Representation, 2013, 24 (2): 111-116. 论文 06 章末书目定位
06[4] Zizhu F, Ming N, Qi Z, et al. Weighted sparse representation for face recognition [J]. Neurocomputing, 2015, 151 (1): 304-309. 论文 06 章末书目定位
06[5] Timofte R, Gool L V. Adaptive and Weighted Collaborative Representations for image classification [J]. Pattern Recognition Letters, 2014, 43 (1): 127-135. 论文 06 章末书目定位
06[6] Tao L, Jian Xun M, Ying L, et al. Robust face recognition via sparse boosting representation [J]. Neurocomputing, 2016, 214: 944-957. 论文 06 章末书目定位
06[7] Jian Xun M, Qiankun F, Weisheng L. Adaptive Class Preserving Representation for Image Classification [C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, United states;IEEE. 2017: 2624-2632. 论文 06 章末书目定位
06[8] Boyd S, Parikh N, Chu E, et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers [J]. Foundations & Trends in Machine Learning, 2010, 3 (1): 1-122. 论文 06 章末书目定位
06[9] Wei D, Wotao Y. On the Global and Linear Convergence of the Generalized Alternating Direction Method of Multipliers [J]. Journal of Scientific Computing, 2015, 66 (3): 889-916. 论文 06 章末书目定位
06[10] Goldstein T, Donoghue, Setzer S. Fast Alternating Direction Optimization Methods [J]. Siam Journal on Imaging Sciences, 2014, 7 (3): 225-231. 论文 06 章末书目定位
06[11] He B, Yuan X. On non-ergodic convergence rate of Douglas-Rachford alternating direction method of multipliers [J]. Numerische Mathematik, 2015, 130 (3): 567-577. 论文 06 章末书目定位
06[12] Haoxi L, Haifeng H, Yip C. Comments On “Iterative Re-constrained Group Sparse Face Recognition with Adaptive Weights Learning” [J]. IEEE Trans Image Process, 2017, 26 (11): 5475-5476. 论文 06 章末书目定位
07[1] Tao L, Jian Xun M, Ying L, et al. Robust face recognition via sparse boosting representation [J]. Neurocomputing, 2016, 214: 944-957. 论文 07 章末书目定位
07[2] Jian Xun M, Qiankun F, Weisheng L. Adaptive Class Preserving Representation for Image Classification [C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, United states;IEEE. 2017: 2624-2632. 论文 07 章末书目定位
07[3] Wei D, Wotao Y. On the Global and Linear Convergence of the Generalized Alternating Direction Method of Multipliers [J]. Journal of Scientific Computing, 2015, 66 (3): 889-916. 论文 07 章末书目定位
07[4] Goldstein T, Donoghue, Setzer S. Fast Alternating Direction Optimization Methods [J]. Siam Journal on Imaging Sciences, 2014, 7 (3): 225-231. 论文 07 章末书目定位
07[5] He B, Yuan X. On non-ergodic convergence rate of Douglas-Rachford alternating direction method of multipliers [J]. Numerische Mathematik, 2015, 130 (3): 567-577. 论文 07 章末书目定位
07[6] Haoxi L, Haifeng H, Yip C. Comments On “Iterative Re-constrained Group Sparse Face Recognition with Adaptive Weights Learning” [J]. IEEE Trans Image Process, 2017, 26 (11): 5475-5476. 论文 07 章末书目定位
07[7] 赵玉兰,苑全德,孟祥萍.基于稀疏编码和机器学习的多姿态人脸识别算法[J].吉林大学学报(理学版),2018,40(2):340~346. 论文 07 章末书目定位
07[8] Dexing Z, Zichao X, Yanrui L, et al. Loose L1/2 regularised sparse representation for face recognition [J]. Computer Vision Iet, 2015, 9 (2): 251-258. 论文 07 章末书目定位
07[9] Boyd, Vandenberghe, Faybusovich. Convex Optimization [J]. IEEE Transactions on Automatic Control, 2006, 51 (11): 1859-1859. 论文 07 章末书目定位
08[1] Jr D H W, Lemeshow S. Applied Logistic Regression [J]. Technometrics, 2000, 34 (1): 358-359. 论文 08 章末书目定位
08[2] Shevade S K, Keerthi S S. A simple and efficient algorithm for gene selection using sparse logistic regression [J]. Bioinformatics, 2003, 19 (17): 2246-2253. 论文 08 章末书目定位
08[3] Algamal Z Y, Ali H T M. An efficient gene selection method for high-dimensional microarray data based on sparse logistic regression [J]. Electronic Journal of Applied Statistical Analysis, 2017, 10 (1): 242-256. 论文 08 章末书目定位
08[4] Zou H, Hastie T. Regularization and variable selection via the elastic net [J]. Journal of the Royal Statistical Society, 2005, 67 (2): 301-320. 论文 08 章末书目定位
08[5] Kurth T, Walker A M, Glynn R J, et al. Results of multivariable logistic regression, propensity matching, propensity adjustment, and propensity-based weighting under conditions of nonuniform effect [J]. American Journal of Epidemiology, 2006, 163 (3): 262. 论文 08 章末书目定位
08[6] Zou H. The Adaptive Lasso and Its Oracle Properties [J]. Publications of the American Statistical Association, 2006, 101 (476): 1418-1429. 论文 08 章末书目定位
08[7] Galar M, Ndez A, Barrenechea E, et al. An overview of ensemble methods for binary classifiers in multi-class problems: Experimental study on one-vs-one and one-vs-all schemes [J]. Pattern Recognition, 2011, 44 (8): 1761-1776. 论文 08 章末书目定位
08[8] Borges J S, Bioucas-Dias J M, Marçal A R S. Fast Sparse Multinomial Regression Applied to Hyperspectral Data [M]. Palo Alto, CA, USA: Springer Berlin Heidelberg, 2006: 700-709. 书 08 章末书目定位
08[9] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2014-05-26) [2020-05-19]. http://arXiv.org/abs.1409.1556. 论文 08 章末书目定位
08[10] Chang C C, Lin C J. LIBSVM: A library for support vector machines [J]. ACM Trans. Intell. Syst. Technol., 2011, 2 (3): 1-27. 论文 08 章末书目定位
09[1] Rubin D B. Iteratively reweighted least squares [J]. Encyclopedia of Statistical Science, 1983, 4 (1): 1-8. 论文 09 章末书目定位
09[2] Krishnapuram B, Carin L, Figueiredo M A, et al. Sparse multinomial logistic regression: Fast algorithms and generalization bounds [J]. IEEE transactions on pattern analysis and machine intelligence, 2005, 27 (6): 957-968. 论文 09 章末书目定位
09[3] Borges J S, Bioucas-Dias J M, Marçal A R S. Fast Sparse Multinomial Regression Applied to Hyperspectral Data [C]//Proceedings of the 3rd International Conference on Image Analysis and Recognition, ICIAR 2006. Povoa de Varzim, Portugal: Springer Berlin Heidelberg, 2006: 700-709. 论文 09 章末书目定位
09[4] Li S, Maddah-Ali M A, Avestimehr A S. Fundamental tradeoff between computation and communication in distributed computing [C]//Proceedings of the IEEE International Symposium on Information Theory. Los Angeles, CA, United States: IEEE, 2018: 109-128. 论文 09 章末书目定位
09[5] Liu T-Y, Chen W, Wang T. Distributed Machine Learning: Foundations, Trends, and Practices [C]//Proceedings of the Proceedings of the 26th International Conference on World Wide Web Companion. Perth, WA, Australia: International World Wide Web Conferences Steering Committee, 2019: 913-915. 论文 09 章末书目定位
09[6] Chen J, Li K, Tang Z, et al. A Parallel Random Forest Algorithm for Big Data in a Spark Cloud Computing Environment [J]. IEEE Transactions on Parallel and Distributed Systems, 2017, 28 (4): 919-933. 论文 09 章末书目定位
09[7] Mateos G, Bazerque J A, Giannakis G B. Distributed Sparse Linear Regression [J]. IEEE Transactions on Signal Processing, 2010, 58 (10): 5262-5276. 论文 09 章末书目定位
09[8] Hao Z, Cano A, Giannakis G B. Distributed Consensus-Based Demodulation: Algorithms and Error Analysis [J]. IEEE Transactions on Wireless Communications, 2010, 9 (6): 2044-2054. 论文 09 章末书目定位
09[9] Schizas I D, Mateos G, Giannakis G B. Distributed LMS for Consensus-Based In-Network Adaptive Processing [J]. IEEE Transactions on Signal Processing, 2009, 57 (6): 2365-2382. 论文 09 章末书目定位
09[10] Deng W, Yin W. On the Global and Linear Convergence of the Generalized Alternating Direction Method of Multipliers [J]. Journal of Scientific Computing, 2015, 66 (3): 889-916. 论文 09 章末书目定位
09[11] Boyd S, Parikh N, Chu E, et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers [J]. Foundations & Trends in Machine Learning, 2010, 3 (1): 1-122. 论文 09 章末书目定位
09[12] Goldstein T, O’Donoghue B, Setzer S, et al. Fast alternating direction optimization methods [J]. Siam Journal on Imaging Sciences, 2014, 7 (3): 1588-1623. 论文 09 章末书目定位
09[13] He B, Yuan X. On non-ergodic convergence rate of Douglas–Rachford alternating direction method of multipliers [J]. Numerische Mathematik, 2012, 130 (3): 567-577. 论文 09 章末书目定位
09[14] Chang C C, Lin C J. LIBSVM: A library for support vector machines [J]. ACM Trans. Intell. Syst. Technol., 2011, 2 (3): 1-27. 论文 09 章末书目定位
10[1] Bottou L. Large-scale machine learning with stochastic gradient descent [C]//Proceedings of COMPSTAT’2010. Physica-Verlag HD, 2010: 177-186. 论文 10 章末书目定位
10[2] Boyd S, Parikh N, Chu E, et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers [J]. Foundations & Trends in Machine Learning, 2010, 3 (1): 1-122. 论文 10 章末书目定位
10[3] Smith V, Forte S, Ma C, et al. CoCo A: A general framework for communication-efficient distributed optimization [J]. The Journal of Machine Learning Research, 2017, 18 (1): 8590-8638. 论文 10 章末书目定位
10[4] Wang J, Kolar M, Srebro N, et al. Efficient distributed learning with sparsity [C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 3636-3645. 论文 10 章末书目定位
10[5] Krishnapuram B, Carin L, Figueiredo M A T, et al. Sparse multinomial logistic regression: Fast algorithms and generalization bounds [J]. IEEE transactions on pattern analysis and machine intelligence, 2005, 27 (6): 957-968. 论文 10 章末书目定位
10[6] Zou H, Hastie T. Regularization and Variable Selection via the Elastic Net [J]. Journal of The Royal Statistical Society Series B-statistical Methodology, 2005, 67, 301-320. 论文 10 章末书目定位
10[7] Vapnik V. Statistical Learning Theory [M]. New York, NY: Wiley, 1998. 书 10 章末书目定位
11[1] Liu J, Chen J, Ye J. Large-scale sparse logistic regression [C]//Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining. 2009: 547-556. 论文 11 章末书目定位
11[2] Koh K, Kim S J, Boyd S. An interior-point method for large-scale l1-regularized logistic regression [J]. Journal of Machine learning research, 2007, 8 (Jul): 1519-1555. 论文 11 章末书目定位
11[3] Algamal Z. An efficient gene selection method for high-dimensional microarray data based on sparse logistic regression [J]. Electronic Journal of Applied Statistical Analysis, 2017, 10 (1): 242-256. 论文 11 章末书目定位
11[4] Ng A Y. Feature selection, L1 vs. L2 regularization, and rotational invariance [C]//Proceedings of the twenty-first international conference on Machine learning. 2004: 78-85. 论文 11 章末书目定位
11[5] Kwak C, Clayton-Matthews A. Multinomial logistic regression [J]. Nursing Research, 2002, 51 (6): 404-410. 论文 11 章末书目定位

资金安全问题案例

问题标题 问题卡 解决方案卡 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 核对两种分片的通信量 横向学习 done 09 核对两种分片的通信量
2 比较局部求解预算 最小实验 done 10 比较局部求解预算

实践候选筛选:done

保留分片通信与局部计算预算两个问题。全量 Spark 集群复现与公开人脸数据实验需要额外环境,当前计划集中于可控的局部分解和通信假设。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。