知识卡片
分布式抓取分离发现和消费
开发节点只遍历索引、发现详情URL,按批提交到多个Scrapyd节点;工作进程抓取详情并导出文件,分析节点再读取文件。这样可以分别扩展发现、下载和分析能力,但任何一段供给不足或积压都限制整体。书中的FTP和本地目录是降低示例资源成本的选择,不自带高可用或端到端一次处理保证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文图11.2与开发机、Scrapyd、Spark三段描述,支持分离职责与阶段约束。未在本机运行示例或改变环境。
- 原始内容:直抓取,并从中批量抽取URL。之后,将以轮询的方式将这些URL分发到Scrapyd节点当中执行爬取。最后,包含 Item 的 .jl 文件将会通过FTP传输到运行Apache Spark的服务器中。什么?FTP?是的,我