知识卡片
相关性依据的三次更替
早期搜索引擎的差别不在界面,而在「凭什么判断这个页面相关」。把三个代表排在一起,看到的是证据来源的三次迁移:
| 代表 | 相关性证据 | 代价 |
|---|---|---|
| Yahoo 目录导航 | 人工把站点分类整理 | 质量高、可控,但靠人力,收录少、难以扩展 |
| Excite 文本检索 | 页面自身词项与查询的相似度(布尔模型、向量空间模型) | 可自动扩展,但只看词,容易被堆砌关键词欺骗 |
| Google PageRank | 页面之外的链接:谁链入、链入多少、链入者本身是否重要 | 借他人判断,抗作弊、质量跃升,但可被链接农场操纵 |
规律是:证据从「人」移到「文档内部」,再移到「文档之间的关系」。每次迁移都扩大了可自动化的规模,同时引入新的可被操纵的维度。由此可以解释今天排序系统为何同时保留三类信号——人工规则兜底、文本相关性、链接与行为权重——不是因为旧方法过时,而是它们失效的场景不同:新站没有链接积累,靠文本;作弊页能堆词,靠链接与行为;长尾查询没有行为,靠人工规则。判断一个检索系统成熟度,可以看它是否对这三类信号分别设了降级策略。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 搜索系统和推荐系统常识 · 查看原书依据
Google是PageRank链接分析技术的代表,其充分利用网页之间的链接关系,考虑网页链入的数量和质量,从而计算网页的排名,提升搜索质量。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第2章 搜索系统和推荐系统常识(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0028.html)
- 结论依据:原文点明 PageRank 利用网页之间的链接关系、按链入数量与质量计算排名,正是「相关性证据从文档内部迁到文档之间」这一判断的实例。
- 原始内容:Google是PageRank链接分析技术的代表,其充分利用网页之间的链接关系,考虑网页链入的数量和质量,从而计算网页的排名,提升搜索质量。