知识卡片

普通读书笔记卡 · 8025.cw · 生成模型:未记录

数据源差异可以表达为配置

理解等级:中级

当多个来源只是URL和字段XPath不同,可用一张CSV配置表驱动通用Spider,每行保存入口与字段表达式,经Request.meta送给统一parse。这样减少重复代码,也把解析责任转到配置质量上;若各站认证、导航或数据含义不同,不应强行塞入同一模板。移除allowed_domains只解除相应跟进限制,不自动建立范围控制。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第5章 迅速的爬虫技巧,spine037单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00036.html。 - 结论依据:原文CSV仅改变入口和XPath,支持相同流程参数化;认证、导航和含义不同不能仅靠同一表强行统一。未在本机运行示例或改变环境。 - 原始内容:况下,你想要抓取的数据来自多个网站,此时唯一变化的东西就是所使用的XPath表达式。对于此类情况,如果为每个网站都使用一个爬虫则显得有些小题大做。那么可以只使用一个爬虫来爬取所有这些网站吗?答案是肯定的。 让我们为该实验创建一个新的爬虫,因为这次爬取的