知识卡片
批次输出名需要跨运行唯一性
文件名加入batch、爬虫名与时间能减少同一轮同秒产生文件的碰撞,但本地批次编号每次从1开始,重启或多个发现节点仍可能相同。完整身份还要覆盖运行和重试关系,并与覆盖/重复策略一致。URL整批放启动参数还受长度和序列化限制;规模大时可传持久批次ID,不能声称本章已实现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。
- 结论依据:原文解释name/time同秒冲突、加入batch及建议改传存储ID;这支持局部修复和跨运行仍待定义的边界。未在本机运行示例或改变环境。
- 原始内容:创建时间相同时,最终会产生冲突。为了避免意外覆盖,我们还添加了一个 %(batch)s 参数。默认情况下,Scrapy不知道任何关于批次的事情,因此我们需要找到一种方式来设置该值。Scrapyd中 schedule.j