知识卡片
按链接消息或按页汇总
分布式 PageRank 可让工人沿每条链接直接发送投票,再在目标节点聚合;也可由工人先统计本地贡献,交给工头统一合并。前者在链接很多时产生大量跨机消息,后者减少逐链接调用,但汇总节点要承担合并压力。选型要比较链接数量、部分结果大小与汇总容量。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.5.14“从赌钱游戏看PageRank算法”(源文件:`_epub-src/OEBPS/text00032.html`)
- 结论依据:原文对比每条链接调用 receive 的工人互传与工人返回投票结果、工头统一合并两种方式,并指出逐链接通信耗带宽。
- 原始内容:但是这种方式,对于每个链接投票都要调用一次receive到其他工人机器,比较耗用带宽,网页数量庞大链接众多时要调用很多次receive,导致性能不高。