知识卡片

结构图卡 · 8025.ax · 生成模型:未记录

示例环境把开发和目标站分开

理解等级:中级

图3.2中宿主机经Docker提供者VM容纳dev、web及后续服务,开发者登录dev运行爬虫,目标页面由web提供;后续章节再接数据库与分布式组件。隔离环境可减少对实时网站变化的依赖,但不能忽略宿主架构、提供者支持和资源容量,也不能保证多年后原镜像仍可直接运行。

结构图:

flowchart LR
 Host[宿主机及示例代码] --> VM[Docker提供者VM]
 VM --> Dev[dev:SSH开发终端]
 Dev -.抓取.-> Web[web:示例页面]
 Dev --> ES[es]
 Dev --> Redis[redis]
 Dev --> MySQL[mysql]
 Dev --> SD[scrapyd1至3]
 SD -.抓取.-> Web
 SD --> Spark[spark]
 Note[数据库对应后续第9章;分布式与Spark对应第11章]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。 - 结论依据:原文dev/web拓扑将执行爬虫和提供样页分隔,支持受控练习减小站点变化干扰,历史镜像仍受主机和提供者条件限制。未在本机运行示例或改变环境。 - 原始内容:中的示例。 大部分章节只使用了两个服务:"dev"机器和"web"机器。我们登录到dev机器中运行爬虫,抓取web机器中的页面。后面的一些章节会用到更多的服务,包括数据库和大数据处理引擎。 请按照附录A的说明,在操作系统中安装Vagrant