知识卡片

普通读书笔记卡 · 8025.ct · 生成模型:未记录

减少请求前先明确数据质量要求

理解等级:中级

若索引页已有所需字段,可一次提取多条而省去逐个详情请求;但真实索引可能只有短描述,需确认这满足消费需求。原书100页取3000条的数量优势不等于端到端必快30倍;连索引请求一起计,3页加90详情为93,与只取3页是31倍请求数差,实际时延还受大小和处理成本影响。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第5章 迅速的爬虫技巧,spine037单元006;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00036.html。 - 结论依据:原文索引批取省详情但可能丢长描述,支持质量与请求成本权衡,请求数差异也不能直接转为固定速度倍数。未在本机运行示例或改变环境。 - 原始内容:能令人满意。 在许多情况下,我们将不得不权衡数据质量与请求数量的关系。很多源都会限制大量的请求(后续章节会遇到更多此类问题),因此在索引中获取也可能帮助我们解决其他难题。 在我们的例子中,当查看任何一个索引页的HTML代码时,就会发现索引