← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3132.a.2.g.6

验证码风控与反爬虫

理解等级:中级

CC 防御:CC 攻击中每个请求看起来都合法(如大量访问没有缓存、需多次读库的论坛长帖页面),基于参数特征的防御失效,只能基于访问频率和统计:同一来源在单位时间内访问次数超过阈值就拦截或要求验证码。书中 Janusec 网关的配置项:统计周期(秒)、周期内最大请求数、触发后锁定秒数、动作(阻断或验证码,验证通过后解锁),以及是否按 URL、User-Agent(区分浏览器、爬虫、扫描器)、Cookie(区分同一局域网出口后的不同用户)分别统计。

业务风控:产品自带的业务安全在专业黑产面前往往不够,需要专业方案:

  • 验证码(CAPTCHA):全自动区分计算机和人类的图灵测试。最简单的是服务器把数字画成带干扰的图片,浏览器只拿到图片。黑产用 AI 识别,识别不了就刷新跳过以提高识别率;还招募人工、开发手机打码 App 按数量计酬。业界因此出现滑动验证码、趣味答题验证码(如 12306)。
  • 大数据风控:黑产绕过验证码后,用关于黑产的大数据(手机号、账号、IP、设备)判断请求来自黑产就直接拦截,以防薅羊毛等;没有数据前需建算法或规则为黑产画像,如设备指纹,这是风控公司的核心竞争力。银行、借贷、保险、网购也类似,先基于行为建信用档案再用于决策。
  • AI 内容风控:直播平台人工难以第一时间发现违规,需要自动识别视频(逐帧图片)中的黄赌毒内容;用已知分类图片训练分类引擎,再测试准确率,可接受且无过拟合才上线。过拟合就是学到太多样本细节,样本上近乎完美、真实数据上大量错漏——千里马“额头隆起,双眼突出”,符合这个特征的也许是癞蛤蟆。
  • 反爬虫:保护文学、动漫、评论、付费数据等不被盗版和竞争对手采集。措施由弱到强:WAF 封 User-Agent(改一下就绕过);CC 防护限频(采集量要远超正常用户,否则误伤);前端 JavaScript 解码或解密(对模拟浏览器的爬虫作用不大);关键数据不固定格式,用 <b>4</b>.<b>50</b> 等标签拆分;检测到爬虫后返回混淆数据,如把诗句打乱顺序;插入不连续的暗语,作为盗版爬取的证据。与其一味封杀,不如提高抓取成本。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据安全架构设计与实战》第13章《第13章 应用和数据层安全架构》13.7.4 CC攻击防御;13.7.6 业务风险控制(源文件:extracted/数据安全架构设计与实战/_epub-src/OEBPS/text00018.html,来源项目 book-sources) - 结论依据:13.7.4节说明CC攻击使参数特征防御失效,介绍基于频率统计的CC防御及统计周期、最大请求数、锁定时间、动作和按URL/UA/Cookie统计等配置;13.7.6节介绍验证码与黑产打码对抗、大数据风控与设备指纹、AI内容风控与过拟合、反爬虫的多种措施和暗语取证。 - 原始内容:在CC攻击过程中,每一个请求看起来都是合法的,因此基于参数特征的防御机制就对CC攻击失效了。