知识卡片
双向DNS验证爬虫身份
识别搜索引擎爬虫不能只看 User-Agent。先反向解析访问 IP,检查所得域名确属目标搜索引擎的官方域名后,再正向解析并确认原 IP 包含在结果中,可降低伪造风险。正反向一致只是身份线索,应结合官方公布的验证规则;结果可限时缓存。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:第22章《DNS应用场景实践》(源文件:`_epub-src/EPUB/xhtml/Section0001_0031.xhtml`)
- 结论依据:作者给出反向解析与正向校验组合验证爬虫 IP 的方法,并建议通过 Ngx_Lua 共享结果;增加官方域名和验证规则校验,以免把任意自控域名的正反向一致误判为搜索引擎身份。
- 原始内容:一般搜索引擎的IP会提供域名反解的信息,在这种情况下,我们可以通过双向DNS解析认证,确认IP的真实性……再对获取到的域名,进行正向解析查询……两段代码得到的结果一致,那么就可以证实220.181.125.106是搜狗搜索引擎的爬虫IP。