知识卡片

操作参考卡 · 8025.bp · 生成模型:未记录

逐行格式便于增量消费

理解等级:中级

JSON数组通常要由消费者解析完整结构,JSON Lines每行独立记录,便于逐条读取和追加,减少必须把全文件一次装入内存的需求;JSON也可以有流式解析器,不能说永远必须全载入。按当前Scrapy教程,-O覆盖、-o追加,连续向JSON数组文件追加会破坏单一JSON文档,可选逐行格式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第3章 爬虫基础,spine035单元017;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00034.html。 - 结论依据:原文每行JSON对象说明记录可独立解析,支持逐条消费;JSON数组也可流式读,且追加数组文件不等于合法合并,按现行-o/-O区别限定。补充核验入口:https://docs.scrapy.org/en/latest/intro/tutorial.html#storing-the-scraped-data。未在本机运行示例或改变环境。 - 原始内容:其全部存入内存当中。而 .jl 文件则是每行包含一个JSON对象,所以它们可以被更高效地读取。 将你生成的文件保存到文件系统之外的地方也很容易。比如,通过使用如下命令,Scrapy可以自动将文件上传到FTP或S3存储桶中。 $ scr