返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 1781.a

矩阵分解并行

理解等级:未标注

ALS-WR 交替固定一个矩阵训练另一个:固定商品矩阵时按用户切分评分矩阵并行更新用户矩阵,固定用户矩阵时按商品切分评分矩阵并行更新商品矩阵。交替避免了两个矩阵同时更新的依赖冲突。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      如果固定商品矩阵M 的内容,此时可以按列将用户矩阵U 划分成均匀的K 块,真实评分矩阵R 按行划分成对应的K 块,每个并行化计算单元分配到完整的商品矩阵M 和用户矩阵U 部分列及对应的评分矩阵R 部分行,这样K 个计算单元可以并行地根据 分别计算被分配到的用户矩阵U 数据块的更新内容,当每个计算单元都计算完成后,可以将K 个用户矩阵U 的数据块合并后形成更新后的矩阵U ,这样就完成了步骤二的并行化改造。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》"16.2.3 并行版ALS-WR算法"一节(源文件:_epub-src/OEBPS/text00021.html) - 结论依据:原文明确"如果固定商品矩阵M的内容,此时可以按列将用户矩阵U划分成均匀的K块,真实评分矩阵R按行划分成对应的K块……K个计算单元可以并行地……计算被分配到的用户矩阵U数据块的更新内容";"如果固定用户矩阵U的内容,此时按列将商品矩阵M划分成K块……并行计算被分配到的商品矩阵M数据块的更新内容",两阶段交替避免同时更新两个矩阵产生的依赖冲突。 - 原始内容:如果固定商品矩阵M的内容,此时可以按列将用户矩阵U划分成均匀的K块,真实评分矩阵R按行划分成对应的K块……K个计算单元可以并行地根据……分别计算被分配到的用户矩阵U数据块的更新内容……如果固定用户矩阵U的内容,此时按列将商品矩阵M划分成K块,同样按列将真实评分矩阵R切成对应的K块……这样K个计算单元可以并行计算被分配到的商品矩阵M数据块的更新内容