知识卡片
反转链接构建倒排关系
链接反转时Map遍历每个网页的出链,输出目标URL到来源URL,再由Reduce汇集来源列表。倒排索引同理把文档中的不同词映射到文档ID。需要集合语义时先处理同一文档内重复词,避免把文档频率误算为词出现次数;这类模式聚合的是记录关系,而不是数值求和。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大规模批处理系统 · 查看原书依据
Map操作的Key是网页URL,Value是这个网页内包含的出链列表,其操作逻辑为将链接的指向者和被指向者反转输出。Reduce操作的Key即为某个被指向网页的URL,Value内容为有链接指向Key这个URL的网页URL列表,其操作逻辑为将这个列表内容累加后输出。这样即可得到所有网页的入链列表。
参考来源
- 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落20(OEBPS/text00016.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:Map操作的Key是网页URL,Value是这个网页内包含的出链列表,其操作逻辑为将链接的指向者和被指向者反转输出。Reduce操作的Key即为某个被指向网页的URL,Value内容为有链接指向Key这个URL的网页URL列表,其操作逻辑为将这个列表内容累加后输出。这样即可得到所有网页的入链列表。