知识卡片
二维切分同时分样本与特征
批量LR把M×N训练矩阵按m行n列机器切成块,行方向划分样本,列方向划分特征,权重向量随特征分块。仅分样本能缩小每机数据量,却仍需容纳完整N维模型;二维切分进一步分散高维权重与计算,并引入行内、列内的通信依赖。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
假设有m ×n 台机器按照m 行n 列的方式布局,对M 个训练数据首先按照行切分为m 块,然后每个训练数据的特征向量按列切分成n 块,这样就将训练数据切分为m ×n 块,每台机器存储 个训练数据的特征值及分配到这台机器训练实例对应的 个类标号数据。同样,大小为N 的权重向量W 也被对应地切分为n 块。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落35,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:假设有m ×n 台机器按照m 行n 列的方式布局,对M 个训练数据首先按照行切分为m 块,然后每个训练数据的特征向量按列切分成n 块,这样就将训练数据切分为m ×n 块,每台机器存储 个训练数据的特征值及分配到这台机器训练实例对应的 个类标号数据。同样,大小为N 的权重向量W 也被对应地切分为n 块。