知识卡片
Deep Web藏在表单后
Deep Web指必须向HTML表单提交合适值才会返回、因而普通链接爬虫难以发现和索引的页面。本章范围主要是允许匿名检索的信息表单,并排除登录、反馈和购买等涉及私密信息或会改变状态的提交。搜索盲区来自入口方式,而非内容本身不可公开。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第09章 探寻Deep Web · 查看原书依据
Deep Web被公认为是搜索引擎在覆盖率上存在的一个很大空白。这是因为搜索引擎通过Web爬虫(cawler)来发现页面,并在索引中包含这些页面,从传统意义上来说,这些Web爬虫仅仅依赖于Web页面的超链接来发现新的Web内容。
参考来源
- 位置:《数据之美》第9章《探寻Deep Web》(源文件:_epub-src/OEBPS/Text/part0359.xhtml)
- 结论依据:原文把Deep Web定义为隐藏在HTML表单后的内容,说明传统爬虫依赖链接而不会自动提交表单;并限定研究对象为匿名信息检索,排除个人信息及产生副作用的表单。
- 原始内容:Deep Web被公认为是搜索引擎在覆盖率上存在的一个很大空白。这是因为搜索引擎通过Web爬虫(cawler)来发现页面,并在索引中包含这些页面,从传统意义上来说,这些Web爬虫仅仅依赖于Web页面的超链接来发现新的Web内容。