知识卡片

普通读书笔记卡 · 8025.hk · 生成模型:未记录

基础设施规则宜集中适配

理解等级:中级

当数百个爬虫都需要批次分发时,可把统一的请求筛选、分批和工作入口适配放在中间件,保留各爬虫的页面抽取职责。集中并不意味着完全透明:书中方案依赖CrawlSpider规则编号和特定请求形态,应把这些约束显式配置,不能宣称任何爬虫无需修改都能分布式运行。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。 - 结论依据:原文列出索引调整、分批与启动适配三项变化并反对逐个爬虫侵入修改;后续限定条件使透明性有边界。未在本机运行示例或改变环境。 - 原始内容:并且对其依赖的爬虫代码透明。这应该是一个基础架构层级的需求,如果想对爬虫(可能数百个)进行修改来实现它则是一个坏主意。