知识卡片
减少请求前先明确数据质量要求
若索引页已有所需字段,可一次提取多条而省去逐个详情请求;但真实索引可能只有短描述,需确认这满足消费需求。原书100页取3000条的数量优势不等于端到端必快30倍;连索引请求一起计,3页加90详情为93,与只取3页是31倍请求数差,实际时延还受大小和处理成本影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 迅速的爬虫技巧 5.3 30倍速的房产爬虫 · 查看原书依据
权衡数据质量与请求数量的关系
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第5章 迅速的爬虫技巧,spine037单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00036.html。
- 结论依据:原文索引批取省详情但可能丢长描述,支持质量与请求成本权衡,请求数差异也不能直接转为固定速度倍数。未在本机运行示例或改变环境。
- 原始内容:能令人满意。 在许多情况下,我们将不得不权衡数据质量与请求数量的关系。很多源都会限制大量的请求(后续章节会遇到更多此类问题),因此在索引中获取也可能帮助我们解决其他难题。 在我们的例子中,当查看任何一个索引页的HTML代码时,就会发现索引