知识卡片
分层观察定位跨节点瓶颈
分别看宿主资源、各Scrapyd任务队列、发现节点日志和分析结果/文件到达,能把资源饱和、任务积压、供给不足与分析迟延分开。四个终端是此示例的观察方式,不必固定工具数量;任务finished或文件出现也不能直接证明记录完整,应对照预期批次与结果。书中使用vagrant、Docker和Spark的命令未在本机执行。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元012;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文图11.3将四个终端分别安排资源、任务、发现与分析信息,支持分层观察的用途。未在本机运行示例或改变环境。
- 原始内容:11.7 运行分布式爬取 我通常使用4个终端查看爬取的完成进度。为了使本节自成一体,因此我还为你提供了打开到相关服务器终端的 vagrant ssh 命令(见图11.3)。 图11.3 使用4个终端监控爬取 在终