知识卡片
索引分片缩短串行发现链
若索引可按页段或品牌等属性分割,可从相距较远的多个种子并发遍历,减少单一下一页链的供给约束。页1与51只是100页示例,收益依分片覆盖、重复、均衡和站点变化而定,不保证精确翻倍。它与只提高下载并发不同,改变的是工作发现入口;多个种子仍要遵守全局访问与去重约束。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第10章 理解Scrapy性能,spine042单元015;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00041.html。
- 结论依据:原文页1/51双种子让索引链并发推进,支持改变发现入口而非仅加下载容量,重复、覆盖和均衡仍决定收益,未承诺精确翻倍。未在本机运行示例或改变环境。
- 原始内容:量的吞吐量函数 一个简单而又强大的技术是索引分片。这就需要你使用超过一个初始索引URL,在它们之间有一个最大距离。比如,如果索引包含100页,你可以选取1和51作为起始索引。然后,爬虫可以以两倍速率使用下一页链接有效遍