知识卡片
日志与统计回答不同问题
LOG_LEVEL控制保留的最低严重度,LOG_FILE/LOG_STDOUT等影响去向,LOGSTATS_INTERVAL影响进度日志频率;统计收集和结束时STATS_DUMP又是另一层。调短频率便于短运行观察,也会增加输出成本。禁日志应按LOG_ENABLED处理,不假定各版本都接受SILENT;深度/下载/邮件开关和扩展是否启用须按目标版本核对,记录数量不证明数据质量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 配置与管理 7.2.1 分析 · 查看原书依据
LOGSTATS_INTERVAL
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。
- 结论依据:原文LOGSTATS_INTERVAL调进度频率,与日志级别/去向及统计dump不同,支持配置按观察对象分工,不能将关某类输出视作全关统计。补充核验入口:https://docs.scrapy.org/en/latest/topics/settings.html。未在本机运行示例或改变环境。
- 原始内容:取的item和页面的数量。日志频率使用 LOGSTATS_INTERVAL 进行设置,其默认值为60秒。该设置的频率过低,所以在我开发时,会将该值设置为5秒,因为大多数运行都很短暂。写入日志的文件可以通过 LOG_FILE 设置。除非将 LOG