知识卡片

普通读书笔记卡 · 3997

代理IP识别的四种技术手段

理解等级:高级

原书给出四类代理IP信号:探测80、8080等常见代理端口;检查X-Forwarded-For;检查Proxy-Connection: keep-alive;观察异常大的开放端口范围。这些都只能作为启发式特征:请求头可以伪造,也可能由合法网关或CDN添加;开放端口也可能属于正常服务,不能凭单一信号“确认”恶意代理。

全网主动扫描成本高且容易被拦截。更可行的流程是先用业务行为和已知代理列表圈出高风险IP,再对候选IP做协议探测,把结果作为风险模型的一组输入,并用标注样本持续校准误判与漏判。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第1章《高可用架构案例精选》"1.2 腾讯基于用户画像大数据的电商防刷架构"节,"1.2.5 腾讯大数据处理平台——魔方"(源文件:_epub-src/OEBPS/Text/Chapter1_2_6.xhtml) - 结论依据:原文列出"反向探测技术……HTTP头部的X_Forwarded_For……Keep-alive报文……查看IP上端口"四种代理IP识别方法,并说明"除了利用网络爬虫爬取代理IP外,还可利用如下办法来加快代理IP的收集:通过业务建模收集恶意IP……然后再通过协议扫描的方式来判断",直接支撑本卡片结论。 - 原始内容:以上检测代理IP的方法几乎都是公开的,但是盲目去扫描全网的IP,被拦截不说,效率也是一个很大的问题……通过业务建模收集恶意IP(黑产使用代理IP的可能性比较大),然后再通过协议扫描的方式来判断这些不是代理IP。腾讯每天都能发现千万级别的恶意IP。