知识卡片

普通读书笔记卡 · 8025.ev · 生成模型:未记录

事件名表达不同结果和时点

理解等级:中级

item_scraped表示Item已成功通过管道,item_dropped对应有意丢弃,spider_error对应Spider回调异常;下载完成与引擎收到响应也是不同事件。示例yield两项、一项DropItem、最后抛错,说明部分数据成功与同次爬虫有错误可以并存。不能只看任务finished就把所有数据标成功,也不把某次日志顺序当所有并发场景固定顺序。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。 - 结论依据:原文两Item一丢弃再抛错的示例显示部分成功与spider_error可共存,支持各信号只表达本阶段结果而非全书目标完成。补充核验入口:https://docs.scrapy.org/en/latest/topics/signals.html。未在本机运行示例或改变环境。 - 原始内容:.. INFO: Extension, signals.item_dropped fired # If your spider throws something else... INFO: Extension, signals.spider_error fire