知识卡片
处理器链要区分逐值与汇总
MapCompose将一串函数依次作用于各值,Join将字符串集合按分隔符合并;strip、title和float等只是具体转换函数,不是自动语义校验。传给add_xpath的处理器先作用于此次提取值,再经过字段输入处理并累积;它们不等于给整个字段设定最终输出处理器,默认结果也未必是字符串标量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 爬虫基础 3.3.5 清理——item装载器与管理字段 · 查看原书依据
MapCompose(unicode.strip, unicode.title)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元018;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。
- 结论依据:原文MapCompose逐值变换、Join合并字符串,直接支持两种阶段不同,给add_xpath的处理器不等同设置全字段输出处理器。补充核验入口:https://docs.scrapy.org/en/latest/topics/loaders.html;https://itemloaders.readthedocs.io/en/latest/built-in-processors.html。未在本机运行示例或改变环境。
- 原始内容:) [u'I', u'am'] >>> MapCompose(unicode.strip, unicode.title)([u'nIce cODe']) [u'Nice Code'] >>> MapCompose(float)(['3.14']) [3.14] >>> MapCompose