知识卡片
数据源差异可以表达为配置
当多个来源只是URL和字段XPath不同,可用一张CSV配置表驱动通用Spider,每行保存入口与字段表达式,经Request.meta送给统一parse。这样减少重复代码,也把解析责任转到配置质量上;若各站认证、导航或数据含义不同,不应强行塞入同一模板。移除allowed_domains只解除相应跟进限制,不自动建立范围控制。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 迅速的爬虫技巧 5.4 基于Excel文件爬取的爬虫 · 查看原书依据
唯一变化的东西就是所使用的XPath表达式
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第5章 迅速的爬虫技巧,spine037单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00036.html。
- 结论依据:原文CSV仅改变入口和XPath,支持相同流程参数化;认证、导航和含义不同不能仅靠同一表强行统一。未在本机运行示例或改变环境。
- 原始内容:况下,你想要抓取的数据来自多个网站,此时唯一变化的东西就是所使用的XPath表达式。对于此类情况,如果为每个网站都使用一个爬虫则显得有些小题大做。那么可以只使用一个爬虫来爬取所有这些网站吗?答案是肯定的。 让我们为该实验创建一个新的爬虫,因为这次爬取的