知识卡片
网页更新策略:什么时候该重抓
网页会变,重抓频率决定索引的新鲜度与带宽开销。三种策略:
- 历史参考:假设过去更新频繁的页面以后也会频繁,用历史更新间隔预估下次抓取时间。
- 用户体验:用户主要看排名靠前的结果,过期只要不影响排序与体验就可以晚点更新;判断依据是「内容变化对排序结果的影响有多大」。
- 聚类抽样:按网页内容、链接深度、PageRank 等属性聚类,同簇共享同一更新周期。
前两种有一个共同软肋:都依赖历史信息,而保存全量历史会加重搜索引擎负担,首次抓取的页面更是压根没有历史。聚类抽样正是为绕开这一点——用静态属性预测更新周期,新页面也能立刻获得一个合理频率。
取舍很清楚:历史参考对成熟站点最准但存储成本高;用户体验策略把「更新」折算成「排序影响」,最省资源但可能让不影响排序的过期内容长期滞留;聚类抽样覆盖面最广,代价是同簇内个体的真实差异被抹平。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
前两种策略都比较依赖网页历史信息,但在现实中,保存历史信息会增加搜索引擎负担,同时首次抓取的网页并不存在历史信息,因此以上两种方法都有缺陷。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0059.html)
- 结论依据:原文明指前两种策略的缺陷来源(历史信息存储成本与首抓无历史),正是聚类抽样策略被提出的动机。
- 原始内容:前两种策略都比较依赖网页历史信息,但在现实中,保存历史信息会增加搜索引擎负担,同时首次抓取的网页并不存在历史信息,因此以上两种方法都有缺陷。