知识卡片

普通读书笔记卡 · 8025.fn · 生成模型:未记录

批量写入取舍要按实际瓶颈判断

理解等级:中级

将Item凑批或抓取结束后导入,可能减少逐次请求和提交开销,但会增加等待、积压与失败处理责任;流式异步管道也可以是合理选择。原书“管道插数据库不是好主意”和批量能快几个数量级都不宜无条件推广。0.78到0.81秒、约25项/秒属于该示例与前章统计口径,非本机测量或普遍收益。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第9章 管道秘诀,spine041单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00040.html。 - 结论依据:原文批量与管道比较只在示例负载和统计口径下给数值,支持减少请求开销的可能性,不支持任何数据库必须先文件或固定数量级收益。未在本机运行示例或改变环境。 - 原始内容:?答案是否定的。通常情况下,数据库提供的批量插入条目的方式可以有几个数量级的效率提升,因此我们应当使用这种方式。也就是说,应当将Item打包批量插入,或在爬虫结束时以后置处理的步骤执行插入。我们将在最后一章中看到这些方法。不过,