知识卡片

操作参考卡 · 1776.e

反转链接构建倒排关系

理解等级:中级

链接反转时Map遍历每个网页的出链,输出目标URL到来源URL,再由Reduce汇集来源列表。倒排索引同理把文档中的不同词映射到文档ID。需要集合语义时先处理同一文档内重复词,避免把文档频率误算为词出现次数;这类模式聚合的是记录关系,而不是数值求和。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      Map操作的Key是网页URL,Value是这个网页内包含的出链列表,其操作逻辑为将链接的指向者和被指向者反转输出。Reduce操作的Key即为某个被指向网页的URL,Value内容为有链接指向Key这个URL的网页URL列表,其操作逻辑为将这个列表内容累加后输出。这样即可得到所有网页的入链列表。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落20(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:Map操作的Key是网页URL,Value是这个网页内包含的出链列表,其操作逻辑为将链接的指向者和被指向者反转输出。Reduce操作的Key即为某个被指向网页的URL,Value内容为有链接指向Key这个URL的网页URL列表,其操作逻辑为将这个列表内容累加后输出。这样即可得到所有网页的入链列表。