知识卡片
逐行格式便于增量消费
JSON数组通常要由消费者解析完整结构,JSON Lines每行独立记录,便于逐条读取和追加,减少必须把全文件一次装入内存的需求;JSON也可以有流式解析器,不能说永远必须全载入。按当前Scrapy教程,-O覆盖、-o追加,连续向JSON数组文件追加会破坏单一JSON文档,可选逐行格式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 爬虫基础 3.3.4 保存文件 · 查看原书依据
每行包含一个JSON对象
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元017;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。
- 结论依据:原文每行JSON对象说明记录可独立解析,支持逐条消费;JSON数组也可流式读,且追加数组文件不等于合法合并,按现行-o/-O区别限定。补充核验入口:https://docs.scrapy.org/en/latest/intro/tutorial.html#storing-the-scraped-data。未在本机运行示例或改变环境。
- 原始内容:其全部存入内存当中。而 .jl 文件则是每行包含一个JSON对象,所以它们可以被更高效地读取。 将你生成的文件保存到文件系统之外的地方也很容易。比如,通过使用如下命令,Scrapy可以自动将文件上传到FTP或S3存储桶中。 $ scr