知识卡片
Chrome Headless 爬虫实现
HTCAP 通过 puppeteer.launch 调用 Chrome 并传入启动参数(忽略证书错误、限定 SSL 版本范围、关闭相关安全选项以便抓取),调用 loadPage 设置浏览器初始化 Hook;再通过 page.setRequestInterception(true) 开启请求拦截,并在回调中对 AJAX、WebSocket、JSONP、fetch、addEventListener、定时器与窗口函数等做 Hook,从而截获请求数据并自动化触发页面事件以抓取交互参数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 漏洞检测 · 查看原书依据
HTCAP支持基于PhantomJS和Chrome Headless的JavaScript(JS)交互爬虫,爬虫代码主要用Python和JavaScript编写,进行动态爬取时使用了Puppetteer,它是通过DevTools协议控制Headless Chrome的Node.js库的。下面我们着重介绍一下Chrome的Headless交互爬虫技术实现。
参考来源
- 位置:《大型互联网企业安全架构(石祖文)》第05章《漏洞检测》(源文件:extracted/大型互联网企业安全架构 (石祖文)/_epub-src/EPUB/xhtml/chapter009)
- 结论依据:原文给出对应定义与依据,支撑本卡结论。
- 原始内容:HTCAP支持基于PhantomJS和Chrome Headless的JavaScript(JS)交互爬虫,爬虫代码主要用Python和JavaScript编写,进行动态爬取时使用了Puppetteer,它是通过DevTools协议控制Headless Chrome的Node.js库的。下面我们着重介绍一下Chrome的Headless交互爬虫技术实现。