知识卡片

普通读书笔记卡 · 4655.e.2

爬虫规则不能代替流量防护

理解等级:中级

尊重robots.txt的爬虫可以按约定访问,但忽略约定的抓取程序仍可能高速遍历目录、不带会话cookie,耗尽应用资源。对合法搜索流量可提供静态副本;对已识别的滥用可在CDN或边界限流/屏蔽,并让旧规则过期。判断不能只看User-Agent或一个IP,应结合请求轨迹;这不是一次配置即可永久完成的工作。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《发布!设计与部署稳定的分布式系统(第2版)》第4章《稳定性的反模式》(来源项目:book-sources;源文件:extracted/发布!设计与部署稳定的分布式系统(第2版)/_epub-src/OEBPS/Text/epub_0011.html) - 结论依据:原文的机制、案例或步骤支撑本卡解释;未执行的操作仅作为方法,推论与出版时环境不写成当前实测事实。 - 原始内容:那些网站内容“寄生虫”则会完全忽略这个文件。 在我见过的解决上述问题的方法中,只有两种是可行的。