知识卡片
矩阵分解并行
ALS-WR 交替固定一个矩阵训练另一个:固定商品矩阵时按用户切分评分矩阵并行更新用户矩阵,固定用户矩阵时按商品切分评分矩阵并行更新商品矩阵。交替避免了两个矩阵同时更新的依赖冲突。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
如果固定商品矩阵M 的内容,此时可以按列将用户矩阵U 划分成均匀的K 块,真实评分矩阵R 按行划分成对应的K 块,每个并行化计算单元分配到完整的商品矩阵M 和用户矩阵U 部分列及对应的评分矩阵R 部分行,这样K 个计算单元可以并行地根据 分别计算被分配到的用户矩阵U 数据块的更新内容,当每个计算单元都计算完成后,可以将K 个用户矩阵U 的数据块合并后形成更新后的矩阵U ,这样就完成了步骤二的并行化改造。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》"16.2.3 并行版ALS-WR算法"一节(源文件:_epub-src/OEBPS/text00021.html)
- 结论依据:原文明确"如果固定商品矩阵M的内容,此时可以按列将用户矩阵U划分成均匀的K块,真实评分矩阵R按行划分成对应的K块……K个计算单元可以并行地……计算被分配到的用户矩阵U数据块的更新内容";"如果固定用户矩阵U的内容,此时按列将商品矩阵M划分成K块……并行计算被分配到的商品矩阵M数据块的更新内容",两阶段交替避免同时更新两个矩阵产生的依赖冲突。
- 原始内容:如果固定商品矩阵M的内容,此时可以按列将用户矩阵U划分成均匀的K块,真实评分矩阵R按行划分成对应的K块……K个计算单元可以并行地根据……分别计算被分配到的用户矩阵U数据块的更新内容……如果固定用户矩阵U的内容,此时按列将商品矩阵M划分成K块,同样按列将真实评分矩阵R切成对应的K块……这样K个计算单元可以并行计算被分配到的商品矩阵M数据块的更新内容