知识卡片
共享字段变换可集中到管道
TidyUp把每个date转换为ISO格式字符串后返回Item,避免在多个Spider重复转换,ITEM_PIPELINES数字较小者先处理。转换不自动添加时区,也不说明任何数据库都必须字符串才能索引;缺字段或非datetime值仍会出错。原书Python2的map返回列表,Python3为迭代器,迁移时需明确输出形状,不能直接认定与打印样例相同。
结构图: 类图
classDiagram
class TidyUp {
+process_item(item, spider)
}
note for TidyUp "原书date列表转isoformat后返回;Pipeline按注册顺序调用"
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 Scrapy编程 8.3 示例1:非常简单的管道 · 查看原书依据
class TidyUp(object)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第8章 Scrapy编程,spine040单元007;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00039.html。
- 结论依据:原文TidyUp将date转ISO后返回,支持多个Spider复用转换;代码不补时区,缺字段/错误类型仍可能失败,未强推数据库必须字符串。补充核验入口:https://docs.scrapy.org/en/latest/topics/item-pipeline.html。未在本机运行示例或改变环境。
- 原始内容:ime import datetime class TidyUp(object): def process_item(self, item, spider): item['date'] = map(datetime.isoformat, item['