知识卡片
只抓无副作用的GET
GET把查询参数放进URL,使不同表单提交可由不同地址表示并进入搜索索引;POST把参数放在请求体中,结果地址无法据此区分,而且按HTML规范应承载会改变状态或产生副作用的操作。抓取表单前还要排除登录和个人信息入口,不能为扩大覆盖而触发用户状态变更。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第09章 探寻Deep Web · 查看原书依据
因为搜索引擎是基于Web页面的URL来识别它们,从post得到的结果页面无法区分URL,因此不能直接插入到搜索引擎的索引中。此外,按照HTML规范,当表单提交导致状态变化或者产生副作用
参考来源
- 位置:《数据之美》第9章《探寻Deep Web》(源文件:_epub-src/OEBPS/Text/part0360.xhtml)
- 结论依据:原文比较GET与POST的参数位置和URL可识别性,并要求排除有副作用或包含个人信息的表单;因此可索引性必须服从请求语义与隐私边界。
- 原始内容:因为搜索引擎是基于Web页面的URL来识别它们,从post得到的结果页面无法区分URL,因此不能直接插入到搜索引擎的索引中。此外,按照HTML规范,当表单提交导致状态变化或者产生副作用……必须使用post表单。