知识卡片

普通读书笔记卡 · 3829.d

Deep Web藏在表单后

理解等级:初级

Deep Web指必须向HTML表单提交合适值才会返回、因而普通链接爬虫难以发现和索引的页面。本章范围主要是允许匿名检索的信息表单,并排除登录、反馈和购买等涉及私密信息或会改变状态的提交。搜索盲区来自入口方式,而非内容本身不可公开。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第09章 探寻Deep Web · 查看原书依据

      Deep Web被公认为是搜索引擎在覆盖率上存在的一个很大空白。这是因为搜索引擎通过Web爬虫(cawler)来发现页面,并在索引中包含这些页面,从传统意义上来说,这些Web爬虫仅仅依赖于Web页面的超链接来发现新的Web内容。

    参考来源

    - 位置:《数据之美》第9章《探寻Deep Web》(源文件:_epub-src/OEBPS/Text/part0359.xhtml) - 结论依据:原文把Deep Web定义为隐藏在HTML表单后的内容,说明传统爬虫依赖链接而不会自动提交表单;并限定研究对象为匿名信息检索,排除个人信息及产生副作用的表单。 - 原始内容:Deep Web被公认为是搜索引擎在覆盖率上存在的一个很大空白。这是因为搜索引擎通过Web爬虫(cawler)来发现页面,并在索引中包含这些页面,从传统意义上来说,这些Web爬虫仅仅依赖于Web页面的超链接来发现新的Web内容。