知识卡片

普通读书笔记卡 · 2708.a

爬虫隔离防误杀

理解等级:未标注

爬虫流量可能是正常流量的数倍,会挤占正常用户资源。应对方法是限流,或把识别出的爬虫路由到单独集群。只按 User-Agent 或单 IP 访问量识别有副作用:公司员工常共用一个出口 IP,会被误杀。改进办法是用 IP 加 Cookie 识别:给浏览器种下能唯一标识用户的 Cookie,没有或校验不过的请求才分到爬虫集群或要求验证码。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《亿级流量网站架构核心技术》第3章《隔离术》"3.7 爬虫隔离"(源文件:_epub-src/EPUB/text00000.html,navPoint playOrder 69) - 结论依据:原文说明"爬虫和正常流量的比例能达到5:1,甚至更高……一种解决办法是通过限流解决,另一种解决办法是在负载均衡层面将爬虫路由到单独集群……不仅对爬虫user-agent过滤,还会过滤一些恶意IP……这种情况会存在一定程度的误杀,因为公司的公网IP一般情况下是同一个……因此,可以考虑IP+Cookie的方式,在用户浏览器种植标识用户身份的唯一Cookie",直接支撑本卡片结论。 - 原始内容:这种情况会存在一定程度的误杀,因为公司的公网IP一般情况下是同一个,大家使用同一个公网出口IP访问网站,因此,可以考虑IP+Cookie的方式,在用户浏览器种植标识用户身份的唯一Cookie。访问服务前先种植Cookie,访问服务时验证该Cookie,如果没有或者不正确,则可以考虑分流到固定分组,或者提示输入验证码后访问。