知识卡片
内存告警和内存停机不是一回事
内存使用扩展可观察用量、达到告警阈值通知,达到限制时结束爬虫;MEMUSAGE_LIMIT_MB为0取消此停机条件,不等于所有监测告警都禁用。它有平台和采样范围,不是操作系统硬隔离或瞬时内存永不超限保证。共享环境中需按容量理解行为,本次未配置收件人、发送通知或终止进程。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 配置与管理 7.3.5 内存使用扩展设置 · 查看原书依据
MEMUSAGE_LIMIT_MB 设置为0
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第7章 配置与管理,spine039单元018;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00038.html。
- 结论依据:原文LIMIT_MB为0只关闭该限制条件,支持监测、通知与停机分别理解,采样扩展不是操作系统硬内存隔离。补充核验入口:https://docs.scrapy.org/en/latest/topics/extensions.html。未在本机运行示例或改变环境。
- 原始内容:接收报警邮件时才会有用,此时我们需要将 MEMUSAGE_LIMIT_MB 设置为0,禁用关闭爬虫的功能。该扩展只在类UNIX平台上适用。 MEMDEBUG_ENABLED 和 MEMDEBUG_NOTIFY 用于启用并配置内存调试扩展,在爬虫关闭时打印