知识卡片

普通读书笔记卡 · 8025.ch · 生成模型:未记录

外部写入会增加请求和等待

理解等级:中级

示例管道为每个Item再向数据库服务发写入请求,采集请求之外还出现登录和远端写入,因此请求数量大于页面数。具体比例取决于登录、重试及其他请求,不是固定两倍;原日志阈值90却计105条也说明关闭不是严格额度,详见前章。启用管道和看到200日志不替代逐条数据对账,本次未执行远端写入。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第4章 从Scrapy到移动应用,spine036单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00035.html。 - 结论依据:原文逐Item另发数据库请求,直接支持页面请求外还有成本,登录和重试使比例非固定,200与启用配置未代替逐条对账。未在本机运行示例或改变环境。 - 原始内容:响应。这是因为Appery.io的管道对每个Item都执行了一个到Appery.io服务端的额外请求,以便写入每一个Item。这些带有 api.appery.io 这个URL的请求同样也会在日志中出现。 当回到Appery.io时,可