知识卡片

普通读书笔记卡 · 8025.hh · 生成模型:未记录

分布式抓取分离发现和消费

理解等级:中级

开发节点只遍历索引、发现详情URL,按批提交到多个Scrapyd节点;工作进程抓取详情并导出文件,分析节点再读取文件。这样可以分别扩展发现、下载和分析能力,但任何一段供给不足或积压都限制整体。书中的FTP和本地目录是降低示例资源成本的选择,不自带高可用或端到端一次处理保证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。 - 结论依据:原文图11.2与开发机、Scrapyd、Spark三段描述,支持分离职责与阶段约束。未在本机运行示例或改变环境。 - 原始内容:直抓取,并从中批量抽取URL。之后,将以轮询的方式将这些URL分发到Scrapyd节点当中执行爬取。最后,包含 Item 的 .jl 文件将会通过FTP传输到运行Apache Spark的服务器中。什么?FTP?是的,我