← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1781.f

二维切分同时分样本与特征

理解等级:中级

批量LR把M×N训练矩阵按m行n列机器切成块,行方向划分样本,列方向划分特征,权重向量随特征分块。仅分样本能缩小每机数据量,却仍需容纳完整N维模型;二维切分进一步分散高维权重与计算,并引入行内、列内的通信依赖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      假设有m ×n 台机器按照m 行n 列的方式布局,对M 个训练数据首先按照行切分为m 块,然后每个训练数据的特征向量按列切分成n 块,这样就将训练数据切分为m ×n 块,每台机器存储 个训练数据的特征值及分配到这台机器训练实例对应的 个类标号数据。同样,大小为N 的权重向量W 也被对应地切分为n 块。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落35,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:假设有m ×n 台机器按照m 行n 列的方式布局,对M 个训练数据首先按照行切分为m 块,然后每个训练数据的特征向量按列切分成n 块,这样就将训练数据切分为m ×n 块,每台机器存储 个训练数据的特征值及分配到这台机器训练实例对应的 个类标号数据。同样,大小为N 的权重向量W 也被对应地切分为n 块。