知识卡片

普通读书笔记卡 · 2277.k.2.h

双向DNS验证爬虫身份

理解等级:未标注

识别搜索引擎爬虫不能只看 User-Agent。先反向解析访问 IP,检查所得域名确属目标搜索引擎的官方域名后,再正向解析并确认原 IP 包含在结果中,可降低伪造风险。正反向一致只是身份线索,应结合官方公布的验证规则;结果可限时缓存。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:第22章《DNS应用场景实践》(源文件:`_epub-src/EPUB/xhtml/Section0001_0031.xhtml`) - 结论依据:作者给出反向解析与正向校验组合验证爬虫 IP 的方法,并建议通过 Ngx_Lua 共享结果;增加官方域名和验证规则校验,以免把任意自控域名的正反向一致误判为搜索引擎身份。 - 原始内容:一般搜索引擎的IP会提供域名反解的信息,在这种情况下,我们可以通过双向DNS解析认证,确认IP的真实性……再对获取到的域名,进行正向解析查询……两段代码得到的结果一致,那么就可以证实220.181.125.106是搜狗搜索引擎的爬虫IP。